II.8Инженерия данных и аналитика

Карточка модели ISTA-DASLab/Meta-Llama-3-8B-Instruct на Hugging Face совпадает с карточкой kuotient/Meta-Llama-3-8B-Instruct, поэтому описание составлено по ней. kuotient/Meta-Llama-3-8B-Instruct — чат-модель, разработанная Meta на основе семейства Llama 3. Это авторегрессионная плотная трансформерная модель класса LlamaForCausalLM с примерно 7,5 млрд параметров и механизмом Grouped-Query Attention. Она принимает текст и генерирует текст или код; версия с инструкционной настройкой предназначена для диалогов и работы в роли помощника. Модель рассчитана прежде всего на английский язык, а её контекстное окно составляет 8192 токена. Модель подходит для диалоговых помощников, ответов на вопросы, генерации и редактирования текста и кода. Инструкционные варианты Llama 3 настроены с помощью supervised fine-tuning и обучения с обратной связью от людей для повышения полезности и безопасности. Модель статична и обучена на офлайн-данных. Для использования действует специальная коммерческая лицензия Meta Llama 3; необходимо соблюдать её условия и политику допустимого использования.

MiMo-V2.5-Pro-GGUF — GGUF-версия открытой языковой модели MiMo-V2.5-Pro, разработанной Xiaomi MiMo. Модель предназначена для агентных сценариев, сложной разработки программного обеспечения, генерации текста и кода, а также длительных задач, требующих согласованности на протяжении тысяч вызовов инструментов. В карточке указаны поддерживаемые языки английский и китайский. Это Mixture-of-Experts (MoE) модель с 1,02 трлн общих параметров и 42 млрд активных параметров. Она использует гибридную архитектуру внимания, чередующую Sliding Window Attention и Global Attention в соотношении 6:1, а также три слоя Multi-Token Prediction (MTP). Заявлен контекст до 1 млн токенов; гибридное внимание снижает объём KV-кэша, а MTP может ускорять генерацию. Модель обучалась на 27 трлн токенов с применением FP8 и поддерживает шаблон чата с исправлениями Unsloth. Сильные стороны модели — большой контекст, высокая эффективность MoE-архитектуры и ориентация на агентные и программные задачи. Ограничения включают значительный общий размер модели и соответствующие требования к ресурсам, а также отсутствие в представленных данных подробностей о фактических требованиях к оборудованию и качестве работы на других языках или модальностях. Распространяется по лицензии MIT.

MyAwesomeModel — репозиторий модели пользователя zhujiaying-mcpbench на Hugging Face. Метаданные указывают на архитектуру BERT, класс BertModel и задачу feature-extraction; модель принимает текст и предназначена для получения векторных представлений, например для поиска и сравнения текстов. Указаны библиотека Transformers, формат PyTorch и лицензия MIT. Веб-результат сообщает, что репозиторий пуст и не содержит весов, конфигурации или кода, поэтому применимость модели и заявленные в карточке возможности нельзя проверить. Сведения о размере, контексте и поддерживаемых языках надёжно не установлены.

stelterlab/phi-4-AWQ — это 4-битно-квантизированная версия модели phi-4, разработанной Microsoft Research. Квантизация выполнена stelterlab в формате INT4 GEMM с использованием AutoAWQ. Базовая модель представляет собой плотный decoder-only Transformer с 14 млрд параметров, обученный на синтетических и отфильтрованных общедоступных данных, академических книгах, наборах вопросов и ответов, образовательных материалах и коде. Модель ориентирована преимущественно на английский язык; около 8% обучающих данных являются многоязычными. Модель предназначена для генерации текста по текстовым запросам, прежде всего в чат-формате, и может использоваться как основа генеративных AI-функций, в том числе в условиях ограниченных ресурсов и требований к низкой задержке. Среди ключевых сценариев — рассуждение, логика, математика, программирование, ответы на вопросы, диалог и выполнение инструкций. Контекстное окно составляет 16 000 токенов, а выходом является сгенерированный текст. Обучение включало supervised fine-tuning и direct preference optimization для повышения точности следования инструкциям и безопасности. К преимуществам относятся относительно компактный для своих возможностей размер, акцент на рассуждениях, математике, коде и следовании инструкциям, а также снижение требований к памяти благодаря INT4-квантизации. Ограничения включают преимущественную ориентацию на английский язык, статичность модели и отсечение общедоступных данных на июнь 2024 года; перед применением в чувствительных или высокорисковых сценариях необходимы проверка точности, безопасности и справедливости результатов. Модель распространяется по лицензии MIT.

PolarisLM — плотная языковая модель семейства PolarNet с 9,2 млрд параметров, разработанная авторами семейства Polaris. Она предназначена для диалогового помощника, рассуждений, генерации текста и кода, ответов на вопросы, а также вызова функций и инструментов. Модель принимает текст и генерирует текст; заявлены улучшения в сложных рассуждениях, снижении галлюцинаций и надёжности вызова функций. Для работы с длинными запросами поддерживает контекст до 32 768 токенов. В README приведены результаты на арифметических, логических, фактических и многоязычных задачах, включая рост точности на GPQA-Diamond с 62,0% у предыдущей версии до 79,8%; авторы связывают это с более длинным рассуждением. Для запуска предлагается использовать температуру 0,5 и системный запрос с текущей датой. Модель распространяется по лицензии Apache-2.0. Численные результаты и сравнения приведены авторами README; независимая проверка в предоставленных данных не описана.

Это дообученная диалоговая языковая модель Qwen2.5-32B-Instruct, опубликованная пользователем qfq и обученная с помощью TRL. Она предназначена для генерации текста в ответ на инструкции и сообщения пользователя; поддерживает чат и интерфейс вызова инструментов. Модель построена на плотной архитектуре Qwen2 (Qwen2ForCausalLM), содержит 32 млрд параметров, работает через Transformers и распространяется в формате safetensors. Контекстное окно составляет 32 768 токенов. В карточке не приведены отдельные оценки качества или список поддерживаемых естественных языков; возможности и характеристики унаследованы от базовой модели Qwen2.5-32B-Instruct. Лицензия в предоставленных данных не указана, поэтому условия использования следует сверить на странице репозитория Hugging Face. Для запуска приведён пример с Transformers и CUDA; для модели такого размера требуются значительные вычислительные ресурсы.

Qwen3.5-122B-A10B-44GB-GPT5.6Sol-SFT-LynnStyle-GGUF — GGUF-сборка модели Qwen3.5-122B-A10B, опубликованная пользователем nerkyor. Модель предназначена для текстовой генерации, рассуждений, ответов на вопросы и программирования в среде llama.cpp. В репозитории также доступен опциональный мультимодальный vision projector для обработки визуального ввода; основной GGUF может использоваться отдельно для текстовых задач. Модель использует архитектуру qwen3next и содержит 807 тензоров. Это слойно-смешанная imatrix-assisted квантизация LynnStyle: наиболее важные компоненты сохранены в Q8_0, Q6_K или Q5_K, а значительная часть маршрутизируемых экспертных слоёв сжата до IQ2_XS. Основной файл занимает 44,61 ГБ, а вместе с mmproj — 45,23 ГБ. Указаны языки English и Chinese. Проверенный режим рассчитан на общий контекст 131 072 токена, Q4 K/V cache и полную выгрузку на GPU; пиковое потребление VRAM составило 45 551 МиБ. К сильным сторонам относятся сохранение высокой точности для attention, shared-expert и ключевых управляющих структур при существенном уменьшении размера, а также хорошие заявленные результаты без MTP: MMLU 91,6%, GPQA 86,4% и LiveCodeBench 82,0%. Ограничения — высокая требовательность к памяти, отсутствие MTP sidecar и необходимость использовать llama.cpp с рекомендуемыми настройками. LoRA step64 уже объединён с основным файлом и отдельно не требуется. Модель распространяется по лицензии Apache-2.0.

MoonRide/Qwen3.6-27B-heretic-ara-GGUF — GGUF-квантизированная версия модели Qwen3.6-27B, разработанная MoonRide. Это декензурированная модификация исходной модели Qwen/Qwen3.6-27B, созданная с помощью Heretic 1.2.0 и метода Arbitrary-Rank Ablation (ARA) с сохранением row-norm. Модель предназначена для генерации текста, программирования, агентских сценариев и работы с визуально-текстовыми запросами; исходная архитектура включает языковую модель с vision encoder. Модель содержит 27B параметров, 64 слоя и поддерживает контекст длиной 262 144 токена с возможностью расширения до 1 010 000 токенов. Архитектура сочетает Gated DeltaNet и Gated Attention, а также обучалась с использованием multi-step MTP. В репозитории представлены различные GGUF-квантизации; рекомендованы IQ3_XS размером около 12 ГБ и IQ3_XXS размером около 11,2 ГБ. Ключевая особенность модели — значительно сниженная склонность к отказам: в приведённом сравнении она отказала в 16 из 100 тестовых случаев против 91 из 100 у исходной Qwen3.6-27B. При этом декензурирование может влиять на поведение и безопасность модели, а квантизация способна снижать точность по сравнению с оригинальными весами; измеренное KL-расхождение составляет 0,0221. Модель распространяется по лицензии Apache-2.0.

unsloth/Qwen3.6-35B-A3B-GGUF — GGUF-версия открытой модели Qwen3.6-35B-A3B, разработанной командой Qwen и подготовленной Unsloth. Это каузальная языковая модель с визуальным энкодером, предназначенная для программирования, агентных сценариев, работы с репозиториями, фронтенд-разработки, рассуждений и вызова инструментов. Модель ориентирована на более стабильную и продуктивную интерактивную разработку, поддерживает сохранение контекста рассуждений из предыдущих сообщений и улучшенный разбор вложенных объектов при tool calling. Архитектура основана на Mixture of Experts: всего 35 млрд параметров, из которых активируется около 3 млрд. Модель содержит 40 слоёв, 256 экспертов, из которых для каждого запроса выбираются 8 маршрутизируемых и 1 общий эксперт; также используются Gated DeltaNet и Gated Attention. Нативная длина контекста составляет 262 144 токена, с возможностью расширения до 1 010 000 токенов. В README языки и точные визуальные возможности не перечислены, но заявлена поддержка обработки текста и изображений. Сильные стороны модели — большой контекст, экономичная активация параметров благодаря MoE, ориентация на агентное программирование, repository-level reasoning и работу с инструментами. Ограничения включают отсутствие в представленных данных подробностей о поддерживаемых языках, конкретном формате квантования GGUF, требованиях к ресурсам и полном наборе результатов тестирования; качество также может зависеть от выбранного квантования. Модель распространяется по лицензии Apache 2.0.

Qwen3.8-27B-ABLITERATED-UNCENSORED-PHILADELPHIA-CLASS — мультимодальная производная модель на базе Qwen/Qwen3.8-27B, разработанная автором репозитория shuijiaodawang. Она предназначена для диалогов, генерации и анализа текста, программирования, работы с JSON, объяснений, математических задач, отладки, а также обработки изображений и текстово-визуальных запросов. Модель использует гибридную текстово-визуальную архитектуру Qwen3.8 с 27 млрд параметров и поддерживает мультиязычную работу. Доступен BF16-чекпойнт Transformers с текстовыми и визуальными весами, а также GGUF-варианты Q4_K_M, Q5_K_M и Q8_0 для локальной текстовой генерации. Заявлен контекст 32 768 токенов для примера Ollama; режим рассуждений Qwen3.8 сохраняется. Для BF16-версии рекомендуется около 56 ГБ памяти, не считая накладных расходов и KV-кэша. Главная особенность — существенное снижение отказов: во внутренних тестах заявлены 0 отказов на 842 промптах и на отдельной выборке из 126 промптов, при этом проверка связности дала 23 успешных результата из 24. Эти оценки являются внутренними, не являются независимыми бенчмарками и не подтверждают сохранение исходных показателей точности, рассуждений, программирования или компьютерного зрения. Поведение может изменяться при квантовании и использовании разных бэкендов; GGUF-файлы не поддерживают изображения без совместимого vision projector. MTP-голова отсутствует, поэтому спекулятивное декодирование на её основе недоступно. Модель распространяется по лицензии Apache License 2.0.

Qwen3.8-27B-Q4_0_ROCMFP4_STRIX_LEAN — квантизированная версия базовой модели Qwen/Qwen3.8-27B, подготовленная pugant в формате GGUF для llama.cpp. Это плотная гибридная модель с 48 слоями gated-delta-net и 16 слоями полного внимания, нативным контекстом до 262 тысяч токенов и поддержкой MTP для спекулятивного декодирования. В метаданных указаны английский и мультиязычный режимы, а основное назначение — генерация текста, включая программный код, структурированные ответы и задачи RAG. Модель использует квантизацию Q4_0_ROCMFP4_STRIX_LEAN с эффективной точностью около 4,34 BPW и размером примерно 13,82 ГиБ. Она оптимизирована для AMD Strix Halo с графикой RDNA 3.5 и ROCmFPX, поддерживает ROCm и Vulkan-бэкенды, а встроенный MTP-слой может заметно ускорять декодирование на предсказуемом и структурированном контенте. Наиболее высокое ускорение ожидается при генерации кода, детерминированных и структурированных данных; для обычной прозы эффект ограничен. Главное ограничение — модель несовместима со стандартной сборкой llama.cpp и требует форка ROCmFPX с пользовательскими типами тензоров. Она протестирована на Radeon 8060S в составе AMD Ryzen AI Max+ 395, поэтому работоспособность и производительность на другом оборудовании не гарантируются. Лицензия — Apache-2.0.

Qwen3-8B-4bit-AWQ — версия языковой модели Qwen3-8B, опубликованная сообществом mlx-community и конвертированная в формат MLX с помощью mlx-lm 0.24.0. Это плотная авторегрессионная модель с 7,6 млрд параметров, рассчитанная на генерацию текста и диалоговое взаимодействие; поддерживает вызов инструментов через соответствующий интерфейс. Контекст модели составляет до 40 960 токенов. Модель подходит для ответов на вопросы, следования инструкциям, рассуждений, помощи с кодом и сценариев с вызовом инструментов. Базовая Qwen3-8B — многоязычная модель, однако конкретный перечень поддерживаемых языков в предоставленных сведениях не раскрыт. В названии указано 4bit-AWQ, но README описывает конвертацию в MLX, а среди метаданных формат обозначен как safetensors; фактический способ квантования по этим данным подтвердить нельзя. Лицензия — Apache-2.0.

Swift-Qwen3.8-27B — производная модель UkisAI на основе Qwen/Qwen3.8-27B, дообученная для более экономного пошагового рассуждения. По описанию разработчика, она использует на 58,3% меньше токенов рассуждения при потере качества менее 1% и ускоряет выполнение ряда задач примерно в 1,95 раза; также сообщается о меньшем числе ошибок из-за избыточных рассуждений. В обучении штрафовалось использование отдельных маркеров рассуждения, а дополнительный компонент переноса знаний получен от ThinkingCap-Qwen3.6-27B. Модель предназначена для диалогов и сложных задач, включая программирование, и поддерживает анализ изображений согласно метаданным. Разработчик оценивает её на разных уровнях reasoning effort и указывает на применение в квантованных развёртываниях; доступны веса safetensors и версия GGUF для совместимых сред llama.cpp. Для оценки приводятся результаты сравнений с базовой моделью, однако таблицы бенчмарков в доступном README опущены. Контекст базовой модели указан как 262 144 токена в настройках тестирования. Лицензия в метаданных обозначена как other; README сообщает о бесплатном API для исследовательского использования, но это не устанавливает условия лицензии самих весов.

XVERSE-13B-Chat — диалоговая версия языковой модели XVERSE-13B, разработанной компанией Shenzhen Yuanxiang Technology. Это плотная авторегрессионная модель с архитектурой Decoder-only Transformer и 13,2 млрд параметров, предназначенная для генерации ответов и ведения многоходовых бесед. Она поддерживает контекст до 8192 токенов. Модель подходит для вопросов и ответов, суммаризации, рассуждений и помощи с программированием. В README заявлена поддержка более 40 языков, включая китайский, английский, русский и испанский; особенно сильные результаты разработчик отмечает для китайского и английского. Модель использует токенизатор BPE с размером словаря 100 534 токена. Модель может выдавать неточные, предвзятые или оскорбительные ответы, поэтому результаты следует проверять, а перед внедрением проводить тестирование безопасности для конкретного сценария. Лицензия Apache-2.0.

Zrald выпускает GGUF-квантование модели Qwen3.8-27B в профиле zraldv1-ba, ориентированном на баланс размера и качества. Репозиторий содержит файл весов объёмом 14,46 GiB; в README заявлено сохранение 99,12% точности относительно исходной модели. Модель рассчитана на диалоги, генерацию текста, программирование и задачи рассуждения; метаданные указывают поддержку чата. Базовая модель Qwen описана в каталоге как мультимодальная, однако для этой сборки явно заявлены только текстовые сценарии. README сообщает о тестировании на AMD Instinct MI300X, скорости обработки промптов 1 103,4 токена/с и генерации 64,7 токена/с, а также рекомендует не менее 16 ГБ VRAM. Эти показатели приведены разработчиком и могут зависеть от оборудования и конфигурации. Модель распространяется под лицензией Apache-2.0.

YOYO-AI разработала ZYH-LLM-Qwen2.5-14B-V4 — объединённую плотную авторегрессионную языковую модель семейства Qwen2.5 с 14 млрд параметров. По README, при слиянии увеличили долю моделей, дистиллированных из R1, сохранив ориентацию на следование инструкциям и общие языковые способности. В состав слияния входят несколько моделей на базе Qwen2.5, включая DeepSeek-R1-Distill-Qwen-14B и варианты SuperNova-Medius, Virtuoso-Small-v2 и Blossom-V6-14B. Модель предназначена для диалогов, генерации текста и структурированных ответов; метаданные также отмечают интерфейс вызова инструментов. Заявленный контекст составляет 1 010 000 токенов. В карточке указаны английский и китайский языки. README приводит результаты Open LLM Leaderboard, включая IFEval и BBH. Модель распространяется под лицензией Apache-2.0.

ZYR3.1MoE (ZV1.1MeO) — текстовая генеративная модель с многоагентной архитектурой и маршрутизацией Mixture-of-Experts. В README разработчик явно не указан; модель опубликована под идентификатором zyr-AGENT/ZYR3.1MoE. Это объединённая самостоятельная версия с весами, токенизатором и chat template, без необходимости загружать отдельные адаптеры или компоненты. Размер весов составляет около 18 ГБ в пяти safetensors-фрагментах. Модель предназначена для сложных рабочих запросов: планирования, декомпозиции задач, программирования, математических рассуждений, исследования, проверки фактов, критики, обзора, оптимизации и координации компьютерных операций. Её поведение имитирует работу оркестрационной команды из 11 специализированных агентов, которыми управляют уровни ATP, ACN и MeO. Простые вопросы обрабатываются напрямую, а практические запросы могут запускать цикл планирования, распределения ролей и проверки результата. Ключевая особенность — обученное многоагентное поведение поверх одной объединённой модели; ATP и ACN являются внешними runtime-компонентами, а не отдельными нейронными весами. README не указывает точный размер базовой модели, максимальную длину контекста, поддерживаемые языки или мультимодальные возможности, поэтому подтверждённой является только работа с текстовой генерацией. Сгенерированные моделью отчёты о тестах могут быть симулированными и не заменяют реальные внешние результаты выполнения. Для надёжной работы рекомендуется GPU с объёмом памяти от 24 ГБ; поддержка 4-битной квантизации для гибридной архитектуры не гарантируется. Лицензия обозначена как other, но её конкретные условия в README не приведены.

AriannaV4 — мультимодальная модель-ассистент, созданная SurgeFF на базе google/gemma-4-12B с объединёнными весами Aria v4. Это самостоятельная модель для локального запуска; доступны веса в формате safetensors и варианты GGUF разной точности для llama.cpp, Ollama и LM Studio. Архитектура относится к Gemma 4 Unified, размер базовой модели — 12 млрд параметров. Модель предназначена для диалогов, рассуждений, работы с текстом и кодом, математических задач, выбора инструментов, а также понимания изображений, аудио и видео. Для голосового ввода и вывода в реальном времени, генерации изображений и видео и получения эмбеддингов README описывает отдельные подключаемые компоненты: эти возможности не встроены в веса AriannaV4. Репозиторий предназначен для локального развертывания и позиционируется автором как production-ассистент. Лицензия CC BY-NC-SA 4.0 требует указания авторства, распространяет производные работы на тех же условиях и запрещает коммерческое использование.

Dolphin 2.9.2 Mixtral 8x22B GGUF — это квантизированная версия языковой модели Dolphin 2.9.2, созданная сообществом cognitivecomputations на базе mistral-community/Mixtral-8x22B-v0.1. Репозиторий bartowski содержит варианты модели в формате GGUF, подготовленные с помощью llama.cpp и imatrix-квантизации. Модель предназначена для генерации текста в диалогах, выполнения инструкций, программирования, математических задач, function calling и агентских сценариев. В обучении использовались наборы данных для чат-взаимодействия, кода, обратной связи по программированию, математики, системных инструкций и работы агентов. Указан английский язык, а формат запросов основан на ChatML с ролями system, user и assistant. Архитектура и максимальный размер контекста в README не указаны. Доступны варианты квантизации от Q8_0 до IQ1_M размером примерно от 32,73 до 149,42 ГБ. Более качественными и рекомендуемыми названы Q5_K_M, Q4_K_M и IQ4_XS; варианты с более низкой разрядностью требуют меньше памяти, но могут заметно уступать по качеству. Модель предназначена для запуска через совместимые инструменты, включая llama.cpp, однако большие размеры файлов предъявляют высокие требования к оперативной памяти и видеопамяти. Модель распространяется по лицензии Apache-2.0. Ограничения включают зависимость качества от выбранной квантизации и значительные требования к ресурсам; сведения о специализированных мультимодальных возможностях и поддержке других языков отсутствуют.

Dolphin-2.9-Llama3-8B-GGUF — это квантизированная версия текстовой генеративной модели Dolphin 2.9 Llama 3 8B, созданной cognitivecomputations на базе Meta-Llama-3-8B. Квантизации в формате GGUF подготовлены bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для диалоговых ответов, следования инструкциям, генерации и анализа текста, программирования, решения математических задач, function calling и агентских сценариев. При обучении использовались наборы данных Dolphin-2.9, OpenHermes-2.5, CodeFeedback-Filtered-Instruction, dolphin-coder, Samantha, UltraChat, Orca Math и другие специализированные датасеты. Модель имеет текстовую модальность и около 8 миллиардов параметров. README не содержит точных сведений о поддерживаемых языках и размере контекстного окна. Доступны варианты квантизации от Q8_0 до Q2_K и IQ-классов размером примерно от 2,6 до 8,54 ГБ: более качественные варианты требуют больше памяти, а низкобитные позволяют запускать модель на менее производительном оборудовании с некоторой потерей качества. Для работы указан формат чата с ролями system, user и assistant. Сильными сторонами являются широкий набор инструкционных, кодовых, математических и агентских данных, поддержка локального запуска через llama.cpp и большой выбор компромиссов между качеством и требованиями к памяти. Версия устарела и помечена как deprecated из-за проблем с настройками токенизатора; рекомендуется использовать более новую переквантизированную версию dolphin-2.9-llama3-8b-GGUF. Лицензия указана как other, без подробностей об условиях использования.

EngGPT2-16B-A3B — языковая модель компании Engineering Ingegneria Informatica S.p.A., обученная с нуля как открытая по весам, но проприетарно лицензируемая модель для европейских и итальянских сценариев. Она предназначена для диалогов, генерации текста, рассуждений, следования инструкциям, генерации кода и использования в инструментальных рабочих процессах. Карточка сообщает о конкурентных результатах на тестах знаний, математики, следования инструкциям и кода. Модель построена на архитектуре Transformer с разреженной смесью экспертов (MoE): около 16 млрд параметров всего и около 3 млрд активных при генерации. В ней 24 слоя, по 64 эксперта на слой, из которых для каждого токена активируются 8; также используются GQA, SwiGLU, RoPE и RMSNorm. Заявлена поддержка английского, итальянского, французского, немецкого, португальского и испанского языков; предусмотрены режимы без рассуждений, рассуждений на итальянском или английском и краткого turbo-рассуждения. Длина контекста в предоставленных данных не указана. Разработчик позиционирует модель как эффективную альтернативу плотным моделям сопоставимого масштаба для организаций и исследовательских задач; примерно четверть обучающих данных составлял итальянский язык. Модель требует Transformers версии 4.57.0 и загрузки пользовательской архитектуры через trust_remote_code=True. Лицензия указана как проприетарная, поэтому условия использования следует сверять с лицензией репозитория.

Solstice-AI/GLM-5.3-Flash-UNCENSORED-NVFP4 — мультимодальная версия GLM-5.3-Flash с архитектурой от Zhipu AI / ZAI, некорректированными в сторону отказов весами от dealignai и упаковкой NVFP4 от Solstice-AI. Модель предназначена для диалогов, рассуждений, программирования, математических задач, анализа изображений и понимания видео. Заявлена поддержка контекста до 1 048 576 токенов. Это foundation-модель общим размером 320 млрд параметров на основе MoE с 288 маршрутизируемыми экспертами и примерно 18 млрд активных параметров на токен. Используется смешанная точность W4A16: веса маршрутизируемых экспертов представлены в 4-битном формате NVFP4, а attention-слои, общие эксперты и активации сохраняются в BF16/FP16. Мультимодальный модуль включает 24-слойный ViT и проектор с размерностью 10 240; заявлена обработка изображений высокого разрешения и временных последовательностей видео. В комплект также входит DFlash 2 для speculative decoding. К сильным сторонам относятся большой контекст, нативные возможности работы с изображениями и видео, сниженные требования к памяти благодаря квантизации и потенциальное ускорение генерации с DFlash 2. Модель позиционируется для NVIDIA Blackwell, Hopper, Ada Lovelace и Ampere, включая B200, H100/H200, RTX 4090/L40S и A100. Ограничениями являются высокая общая размерность модели, зависимость производительности от совместимого ПО и GPU, а также отсутствие встроенного отказного поведения: это может быть полезно для исследовательских и специализированных сценариев, но повышает риски небезопасного применения. Приведённые в карточке результаты бенчмарков следует считать заявленными авторами модели. В карточке указана лицензия MIT; отдельно отмечены атрибуция базовой архитектуры Zhipu AI / ZAI, калибровка dealignai и упаковка Solstice-AI.

InternLM2.5-20B-Chat — диалоговая языковая модель, разработанная командой InternLM и распространяемая в формате GGUF сообществом LM Studio. Квантизацию выполнил bartowski на основе llama.cpp. Модель предназначена для генерации текста, ведения диалогов, следования инструкциям, решения математических задач и задач, требующих рассуждений. Она также поддерживает использование инструментов и может применяться совместно с инструментом MindSearch. Модель содержит около 20 миллиардов параметров и рассчитана на контекст длиной до 32 000 токенов. В README не указаны поддерживаемые языки и мультимодальные возможности, поэтому модель следует считать текстовой. Для работы в LM Studio рекомендуется шаблон ChatML. По заявлению авторов, модель обеспечивает высокие результаты в задачах рассуждений и сопоставима с Gemma 2 27B при меньшем размере. Ограничения включают возможность генерации неточного, вредного или неподходящего содержимого, а также зависимость характеристик от выбранной GGUF-квантизации и аппаратного обеспечения. Модель помечена лицензией other; конкретные условия лицензии в README не раскрыты, поэтому перед использованием необходимо ознакомиться с условиями исходной модели InternLM2.5-20B-Chat и данной сборки.

InternLM2.5-7B-Chat-1M — диалоговая языковая модель команды InternLM, вариант InternLM2.5-7B-Chat для работы с контекстом до 262 144 токенов по метаданным. Это плотная авторегрессионная модель семейства InternLM2 с 7,4 млрд параметров, предназначенная для генерации текста в ответ на запросы и ведения диалога. Модель рассчитана на анализ длинных документов, поиск сведений в большом контексте, математические рассуждения и сценарии с использованием инструментов. В README заявлена оценка на текстах длиной до миллиона токенов и приводится рекомендация использовать LMDeploy для инференса с таким контекстом; Transformers не поддерживает этот режим напрямую. Поэтому заявленную длину в миллион токенов следует считать характеристикой описанного в README режима, тогда как метаданные указывают native context в 262 144 токена. Репозиторий содержит веса в формате safetensors. README сообщает, что код распространяется по Apache-2.0, а для весов открыто академическое исследование и предусмотрена бесплатная коммерческая лицензия по запросу. Модель ориентирована на практическое применение, но её заявления о качестве приведены разработчиком по результатам собственных оценок.

JetBrains/Mellum2-12B-A2.5B-Instruct-GGUF-Q8_0 — это квантованная в формате GGUF версия инструкционной модели Mellum2-12B-A2.5B-Instruct, разработанной JetBrains. Модель предназначена для генерации текста и выполнения инструкций, включая задачи программирования и ассистирования, и может запускаться локально через llama.cpp, Ollama, LM Studio и другие совместимые среды. Модель использует архитектуру Mixture-of-Experts с 64 экспертами, из которых для каждого токена активируются 8. Контекстное окно составляет 131 072 токена. Представленная версия применяет 8-битное квантование Q8_0, занимает около 12,9 ГБ и сохраняет близкое к BF16 качество: KL-дивергенция составляет примерно 0,016, а наиболее вероятный токен совпадает с BF16 в 95,2% случаев. В README явно указан английский язык; сведения о других языках и дополнительных модальностях отсутствуют. Модель формирует ответы напрямую, без внешнего отображения цепочки рассуждений. Сильные стороны версии — существенно меньший размер по сравнению с BF16 при небольших потерях качества, длинный контекст и широкая совместимость с локальными GGUF-рантаймами. Ограничения включают повышенные требования к памяти по сравнению с более агрессивными вариантами квантования и отсутствие в данном README подробных результатов оценки, описания полного набора языков и характеристик базовой модели. Модель распространяется по лицензии Apache 2.0.

MaziyarPanahi/Meta-Llama-3-8B-Instruct-GGUF — это квантизированная версия инструкционно дообученной модели Meta-Llama-3-8B-Instruct, разработанной Meta и преобразованной в формат GGUF пользователем MaziyarPanahi. Модель предназначена для диалоговых ассистентов, генерации текста и кода, а также коммерческого и исследовательского использования на английском языке. Для работы необходимо применять шаблон запросов Llama 3. Модель представляет собой авторегрессионную языковую модель на оптимизированной архитектуре Transformer с 8 млрд параметров и механизмом Grouped-Query Attention (GQA). Она принимает только текст и генерирует текст или код, имеет контекст 8 тысяч токенов и обучалась на более чем 15 трлн токенов общедоступных онлайн-данных. Инструкционная версия использует supervised fine-tuning и reinforcement learning from human feedback для повышения полезности и безопасности. Репозиторий содержит варианты квантизации от 2 до 16 бит, что позволяет выбирать компромисс между размером модели, скоростью и качеством вывода. Сильными сторонами являются поддержка диалоговых сценариев, генерации кода и возможность запуска через совместимые инструменты для GGUF, включая llama.cpp, с меньшими требованиями к ресурсам благодаря квантизации. Ограничения включают преимущественную ориентацию на английский язык, контекст длиной 8 тысяч токенов, статичность модели и возможные потери качества в квантизированных вариантах. Использование регулируется пользовательской лицензией Meta Llama 3 и соответствующей политикой допустимого использования.

MiniMax-M3 — мультимодальная модель семейства MiniMax, представленная в репозитории dshive/MiniMax-M3. Она принимает текст и изображения и предназначена для диалогов, анализа визуального содержимого, работы с видео, программирования и длительных агентных сценариев. В README заявлены около 428 млрд параметров, примерно 23 млрд активируемых параметров и контекст до 1 млн токенов. Модель использует разреженное внимание MiniMax Sparse Attention (MSA); в карточке указана архитектура MiniMax-M3-VL и формат весов safetensors. Разработчик заявляет ускорение обработки длинного контекста и сильные результаты в задачах программирования и совместной работы с агентом. Для использования описаны MiniMax Agent и MiniMax API, а также локальное развёртывание через Transformers. Репозиторий опубликован под лицензией other; конкретные условия лицензии следует проверять в карточке модели.

MiniMax-M3 — мультимодальная модель семейства MiniMax, опубликованная пользователем sdlangshaw; в README оригинальная разработка приписана MiniMax. Она предназначена для диалогов с текстом и изображениями, анализа видео, программирования и агентных задач. Модель содержит около 428 млрд параметров, из которых активируется около 23 млрд, и использует разреженное внимание MiniMax Sparse Attention (MSA). Заявлена длина контекста до 1 млн токенов; README сообщает о повышении скорости обработки длинного контекста относительно M2. Модель поддерживает текстовые и визуальные сценарии, включая видео, и рассчитана на длинные многошаговые задачи: например, разработку кода и совместную работу с агентом. Для использования README указывает MiniMax Agent и MiniMax API, а также локальное развёртывание из репозитория MiniMaxAI/MiniMax-M3. В репозитории sdlangshaw/MiniMax-M3 представлены веса safetensors для Transformers. Лицензия указана как other, без уточнения её условий в доступных данных. Заявления о производительности и возможностях приведены в README модели; они не сопровождаются здесь независимыми результатами проверки.

Muse-Glimmer-30B-GGUF — набор GGUF-квантованных сборок модели Muse Glimmer-30B, разработанной Meta Superintelligence Lab и опубликованной пользователем NANI-Nithin. Это плотный причинно-следственный трансформер примерно на 30 млрд параметров с отдельным модулем восприятия для обработки изображений и текста; модель генерирует текст и предназначена для запуска через llama.cpp на локальном оборудовании. Репозиторий содержит варианты от BF16/F16 до экспериментальных низкобитных квантов, включая рекомендуемый Q4_K_M размером 15,77 ГБ, а также отдельный vision projector для работы с изображениями. Модель ориентирована на агентские сценарии: выполнение многошаговых задач, написание и отладку кода, работу с инструментами через схемные вызовы функций, планирование, восстановление после ошибок и длительные многоходовые взаимодействия. Она принимает интерливированные текст и изображения, включая скриншоты, графики и документы, с поддержкой до 4096 визуальных токенов на изображение. Заявлена поддержка более 100 языков и управляемого уровня рассуждений low, medium, high и xhigh. Среди сильных сторон — мультимодальность, агентские возможности и развитое многошаговое рассуждение; качество зависит от выбранного уровня квантования, а экстремальные варианты могут заметно снижать точность. DFlash-декодер для ускорения генерации в этот репозиторий не входит, а GGUF-сборки предназначены для llama.cpp и не загружаются стандартным способом через vLLM, SGLang или transformers. Модель и сборки распространяются по лицензии Apache-2.0. Для обработки изображений требуется отдельно скачать и подключить файл vision projector; объём памяти и дискового пространства зависит от выбранной версии квантования.

CIRU DualView Ornith 1.0 35B — мультимодальная модель для диалогов, рассуждений, работы с инструментами, программирования и анализа изображений. Она основана на объединении Ornith-1.0-35B и Qwen3.6-35B-A3B; архитектура включает 256 экспертов, из которых активны 8. Модель поставляется в формате GGUF с квантованием FPX7 и отдельными участками Q8, а также с проектором изображений и дополнительным слоем MTP. Заявленная длина контекста — 262 144 токена. DualView использует компактное представление весов для генерации и точное представление INT8 для обработки входного контекста. Модель предназначена для локального запуска на системах AMD с унифицированной памятью и ROCm. Для загрузки требуется совместимая сборка ROCmFPX; стандартный llama.cpp не поддерживает этот формат. Проверки производительности проведены для Linux ROCm на Strix Halo, а совместный режим vision и MTP ещё проходит валидацию качества изображений и повторяемости. В метаданных указана лицензия other; конкретные условия следует сверить с карточкой модели и её лицензией.