I.11Классификация, ранжирование и сопоставление

inf-o1-pi0-GGUF — это квантизированная версия модели infly/inf-o1-pi0, подготовленная пользователем bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и запуска локально через llama.cpp, LM Studio и другие совместимые проекты. В README не указано, кто разработал исходную модель, кроме идентификатора организации infly. Доступны варианты от BF16 до низкобитных форматов Q8_0, Q6, Q5, Q4, Q3 и Q2, с размером файлов примерно от 12,31 до 65,54 ГБ. Указана поддержка китайского, английского, французского, испанского, португальского, немецкого, итальянского, русского, японского, корейского, вьетнамского, тайского и арабского языков. Конкретные архитектура, число параметров, размер контекста и дополнительные модальности в README не раскрыты, поэтому модель следует рассматривать как текстовую. Сильная сторона набора — широкий выбор квантизаций, позволяющий подобрать баланс между качеством, требованиями к памяти и скоростью локального вывода; варианты Q6_K_L, Q6_K, Q5 и Q4 отмечены как рекомендуемые, а Q4_K_M описан как стандартный вариант для большинства сценариев. Более сильное сжатие уменьшает требования к ресурсам, но снижает качество, особенно у вариантов Q2 и Q3. Лицензия исходной модели и условия коммерческого использования в README не указаны.

InternVL2_5-26B — мультимодальная модель OpenGVLab для диалога по тексту и визуальным данным. Она объединяет зрительный энкодер InternViT-6B-448px-V2_5 и языковую модель internlm/internlm2_5-20b-chat; каталог указывает связь с обеими базовыми моделями как merge. Модель построена по схеме ViT-MLP-LLM и использует динамическое разбиение изображений на фрагменты 448×448 пикселей для обработки в высоком разрешении. Модель предназначена для ответов на вопросы об изображениях, анализа нескольких изображений в одном запросе и понимания видео по кадрам; она также поддерживает обычный текстовый диалог. В README отмечены улучшения обучения и качества данных, а также внимание к сохранению языковых способностей. Карточка семейства указывает поддержку многоязычных данных, OCR и математических диаграмм; конкретный список языков и размер контекста для этой версии не приведены. Репозиторий содержит веса safetensors и рассчитан на Transformers. Лицензия — MIT. Обработка высокого разрешения, нескольких изображений и видео увеличивает расход визуальных токенов; при работе с несколькими изображениями может потребоваться увеличить контекст.

Модель kangkys/kanana-1.5-8b-instruct-2505-Safe-DPO — дообученная авторами kangkys плотная языковая модель семейства Llama с 7,5 млрд параметров. Она предназначена для генерации текста и диалогового взаимодействия; в метаданных также заявлен интерфейс вызова инструментов. Модель принимает текст и выдаёт текст, поддерживает контекст до 32 768 токенов. В карточке указаны английский язык и формат весов safetensors. Модель дообучена на базе kangkys/kanana-1.5-8b-instruct-2505-Safe-DPO с использованием Unsloth и библиотеки TRL от Hugging Face. README не описывает набор данных, конкретные результаты обучения или отдельные сценарии Safe-DPO, поэтому эти свойства нельзя оценить по карточке. Лицензия — Apache-2.0.

Kimi-K2.6-RAM-447GB-GGUF — это смешанно-точная GGUF-квантизация модели moonshotai/Kimi-K2.6, опубликованная baa-ai и созданная с использованием конвейера RAM (Resource-Aware Mixed-precision). Модель предназначена для генерации текста и локального запуска через llama.cpp, в том числе на системах с 512 ГБ оперативной памяти или на конфигурациях с двумя модулями по 256 ГБ. В основе лежит архитектура DeepSeek-V3 decoder (kimi_k2) с 61 слоем, 1,03 трлн параметров, скрытым размером 7168, MLA-attention и MoE-структурой из 384 маршрутизируемых экспертов, из которых для каждого токена активируются 8. Экспертные веса квантизированы в Q3_K, а веса attention распределены между Q5_K и Q8_0 на основе чувствительности отдельных тензоров к ошибкам квантования. Размер файла составляет 447 ГБ. Ключевое преимущество варианта — ориентация на более высокое качество по сравнению с менее ресурсоёмкими сборками благодаря неравномерному распределению разрядности для attention-тензоров. Ограничениями являются чрезвычайно высокие требования к оперативной памяти и отсутствие imatrix: его не использовали, поскольку промежуточный файл Q8_0 объёмом 1,1 ТБ превышал доступную память. Экспертные веса исходной модели INT4 были предварительно деквантизированы и повторно квантизированы в GGUF. В карточке указана лицензия modified-MIT с типом license: other. Поддерживаемые языки и мультимодальные возможности в README не описаны.

Kurage-en — англоязычная модель для задач генерации с дополненной поиском (RAG), разработанная Lightblue на основе Qwen2-7B-Instruct. Это плотная причинная языковая модель Qwen2 с 7,1 млрд параметров, контекстом до 32 768 токенов и форматом safetensors; лицензия — Apache-2.0. Модель принимает вопрос и один или несколько фрагментов текста, выбирает релевантные контексты и формирует краткий ответ. Также она умеет расширять ответы, отвечать на английском по материалам на других языках и создавать пары вопросов и ответов по исходному тексту для предварительной индексации. Обучающие примеры получены из отобранных образовательных фрагментов MADLAD-400; для подбора негативных примеров использовалась модель BAAI/bge-m3. Модель предназначена для англоязычных RAG-систем, подготовки данных для поиска и ответов по коллекциям документов. Для режима с одним фрагментом известна склонность иногда ошибочно отказываться отвечать, даже когда контекст содержит ответ; результаты межъязыкового RAG также могут быть нестабильными.

LFM2-24B-A2B-MLX-8bit — 8-битная квантованная версия модели LFM2-24B-A2B, разработанной LiquidAI. Квантование выполнено командой LM Studio с использованием MLX и ориентировано на запуск на устройствах с Apple Silicon. Модель предназначена для генерации текста и локального использования через совместимое программное обеспечение. Модель поддерживает английский, арабский, китайский, французский, немецкий, японский, корейский, испанский и португальский языки. Ключевые параметры контекста, точная архитектура и дополнительные модальности в README не указаны; из описания следует, что это текстовая модель. Сильной стороной является оптимизация для Apple Silicon и снижение требований к памяти благодаря 8-битному представлению, однако квантование может влиять на качество по сравнению с исходной версией, а применение вне экосистемы Apple может быть ограничено. Модель распространяется по лицензии lfm1.0.

LFM2.5-1.2B-JP-202606 — компактная текстовая чат-модель Liquid AI, дообученная на базе LiquidAI/LFM2.5-1.2B-Base. Она предназначена прежде всего для японских приложений, также поддерживает английский. В метаданных указано 1,5 млрд параметров и контекст 128 000 токенов; README приводит 1,17 млрд параметров и контекст 32 768 токенов. Архитектура — плотная LFM2 с 16 слоями: 10 блоками LIV-свёртки с двойным гейтингом и 6 блоками GQA. Модель подходит для диалоговых помощников, следования инструкциям, математики и кода, вызова инструментов, структурированных ответов и локальных персональных ассистентов. Разработчик отмечает улучшения в японском языке и рекомендует давать чёткие инструкции с ожидаемым форматом ответа. Модель не рекомендуется для задач, требующих обширных знаний. Лицензия в метаданных указана как other; конкретные условия следует сверять с карточкой репозитория.

Nichonauta/LFM2.5-1.2B-Thinking-ToMoE-INT8 — 8-битная квантизованная версия экспериментальной MoE-модели рассуждений Nichonauta/LFM2.5-1.2B-Thinking-ToMoE, основанной на LiquidAI/LFM2.5-1.2B-Thinking. Репозиторий содержит реальные прореженные веса MoE в формате safetensors, а не плотный эквивалент: линейные слои MLP, внимания и свёрток используют весовую квантизацию INT8, тогда как маршрутизаторы, эмбеддинги и нормализации хранятся в fp32. Архитектура LFM2 MoE, класс Lfm2MoEForCausalLM; размер — 1,5 млрд параметров, контекст — до 128 000 токенов. Модель предназначена для генерации текста и диалогового использования, включая задачи рассуждения. В README сообщается, что показатели perplexity после квантизации INT8 близки к fp32-версии, а размер файла весов составляет около 1,38 ГБ. Для загрузки используется Transformers с пользовательским кодом модели и параметром trust_remote_code=True. Карточка указывает лицензию other, поэтому перед использованием следует проверить условия в файле LICENSE.

Dingdust опубликовал производную модель LFM2.5-8B-A1B-heretic на основе LiquidAI/LFM2.5-8B-A1B-Base. Это текстовая MoE-модель для диалогов и генерации текста; в README представлены параметры abliteration и сравнение частоты отказов с исходной моделью. Модель рассчитана на локальных помощников, агентные сценарии и вызов инструментов. В README семейство LFM2.5 описано как гибридная архитектура с 8,3 млрд параметров всего и 1,5 млрд активных; метаданные репозитория указывают 1,6 млрд параметров. Заявленная длина контекста — 128 000 токенов. Поддерживаются английский, арабский, китайский, французский, немецкий, японский, корейский, испанский, португальский и итальянский языки. В README указано, что модель не оптимальна для сложного программирования и ответов на фактологические вопросы без поиска по источникам. Лицензия в метаданных обозначена как other.

NousResearch/Llama-2-7b-chat-hf — диалоговая языковая модель семейства Llama 2, разработанного Meta и опубликованная в формате Hugging Face Transformers. Это плотный авторегрессионный трансформер с 6,6 млрд параметров; веса представлены в форматах PyTorch и Safetensors. Модель принимает текст и генерирует текст, а её контекст составляет 4096 токенов. Модель дообучена с помощью supervised fine-tuning и обучения с подкреплением по человеческим отзывам для диалогов в формате помощника. Она предназначена для ответов на вопросы, ведения диалога и генерации текста на английском языке. Для ожидаемого поведения нужно соблюдать форматирование Llama 2 Chat с соответствующими маркерами инструкций и токенами. Модель может выдавать неточные, предвзятые или нежелательные ответы, а проведённые оценки не охватывают все возможные сценарии. Данные предобучения имеют срез до сентября 2022 года. Использование регулируется собственной лицензией Meta для Llama 2; для получения весов требуется принять её условия.

llama-3.1-70B-lumitron-lorablated — слитая модель генерации текста на архитектуре Llama, созданная nonetrix с помощью mergekit. В объединении использованы nonetrix/llama-3.1-70B-lumitron и mlabonne/Llama-3-70B-Instruct-abliterated-LORA; применён метод task arithmetic. Модель содержит 69,5 млрд параметров, работает с библиотекой Transformers и сохранена в формате safetensors. Модель предназначена для диалоговой генерации текста и может использоваться для ответов на запросы и ведения беседы. Заявленная длина контекста — до 131 072 токенов; в метаданных также отмечен интерфейс tool calling. Карточка не описывает результаты оценки качества и не приводит сведения о лицензии, поэтому эти свойства нельзя подтвердить по доступным данным.

QuantFactory/Llama3.1-8B-Chinese-Chat-GGUF — квантизированная версия модели Llama3.1-8B-Chinese-Chat, созданная с использованием llama.cpp на основе Meta-Llama-3.1-8B-Instruct. Исходную модель разработали Shenzhi Wang, Yaowei Zheng, Guoyin Wang, Shiji Song и Gao Huang; равный вклад указан для первых двух авторов. Модель предназначена для генерации текста и диалоговых сценариев на китайском и английском языках. Она ориентирована на ролевое взаимодействие, использование инструментов и function calling, а также задачи, связанные с математикой. Дообучение выполнено методом ORPO с использованием LLaMA-Factory на более чем 100 тысячах пар предпочтений. Размер модели составляет около 8,03 млрд параметров, заявленная длина контекста — до 128K токенов, однако для китайской версии она не была протестирована; длина контекста при дообучении составляла 8192 токена. Главное преимущество модели — адаптация Llama 3.1 для китайско-английских пользователей и наличие GGUF-квантизации, упрощающей локальный запуск через llama.cpp или LM Studio. Ограничения включают непроверенную заявленную длину контекста для этой версии и возможные неточные ответы на вопросы о собственной идентичности и разработчиках. Модель распространяется по лицензии Llama 3.1.

notcvnt/Llama-3.1-8B-Instruct-heretic — производная инструктивная версия Meta Llama 3.1, представленная сообществом как «heretic» и «abliterated». По метаданным это плотная авторегрессионная модель семейства Llama с архитектурой LlamaForCausalLM, примерно 7,5 млрд параметров, предназначенная для генерации текста и диалогов. Она принимает текст и выдаёт текст; заявленный контекст — до 131 072 токенов. README описывает исходную Llama 3.1 Instruct, а не конкретную версию heretic, поэтому сведения о языках, методе изменения поведения и характеристиках именно этого варианта ограничены. В метаданных указаны языки en, de, fr, it, pt, hi, es и th. Модель подходит для диалогового помощника и генерации текста на поддерживаемых языках. Метки «uncensored» и «abliterated» указывают на изменённый профиль отказов или ограничений, но карточка не раскрывает точную методику и результаты оценки; выходы следует проверять на точность и безопасность. Модель распространяется по лицензии Llama 3.1 Community License (идентификатор лицензии в метаданных — llama3.1); применение регулируется её условиями и Acceptable Use Policy.

Llama-3.1-Tulu-3-8B-SFT-GGUF — это GGUF-квантизированная версия языковой модели Llama-3.1-Tulu-3-8B-SFT, разработанной Allen Institute for AI (Ai2). Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix; в качестве данных для квантизации применялся специализированный набор. Модель предназначена для генерации текста и диалоговых сценариев, включая запуск локально через llama.cpp или LM Studio. Указан формат промпта с ролями system, user и assistant. Модель содержит 8 миллиардов параметров и работает с текстом на английском языке. Доступны варианты от исходных весов F16 размером около 16,07 ГБ до различных квантизаций Q8, Q6, Q5, Q4, Q3 и Q2 размером примерно от 3,7 ГБ до 8,54 ГБ. Более крупные варианты сохраняют более высокое качество, а компактные требуют меньше оперативной памяти, но могут заметно уступать в качестве. Для большинства сценариев автор рекомендует варианты Q4_K_M, Q5 и Q6; некоторые варианты оптимизированы для ARM или AVX и имеют ограничения совместимости. Модель поддерживает только текстовую модальность; сведения о длине контекста в README не указаны. Лицензия обозначена как llama3.1. README не содержит подробных результатов тестирования, поэтому точные сильные и слабые стороны базовой модели, кроме компромисса между размером квантизации и качеством, оценить нельзя.

tintnguyen/llama3.2 — дообученная автором tintnguyen языковая модель семейства Llama 3.2 для генерации текста и диалогов. В основе лежит unsloth/Llama-3.2-3B-Instruct-bnb-4bit; модель имеет плотную архитектуру LlamaForCausalLM и 3,2 млрд параметров. Для обучения использовались Unsloth и библиотека TRL.

RedHatAI/Llama-3.2-1B-FP8 — это FP8-квантизированная версия базовой языковой модели Llama 3.2 1B. Репозиторий опубликован Red Hat AI, а исходная модель разработана Meta. Это авторегрессионная текстовая модель для генерации текста и кода; она не является мультимодальной и не относится к instruction-tuned версии. Модель содержит около 1,23 млрд параметров и использует оптимизированную Transformer-архитектуру Llama с Grouped-Query Attention: 16 слоёв, 32 attention heads и 8 key-value heads. В конфигурации репозитория указано контекстное окно до 131 072 токенов. Официально поддерживаются английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. FP8-представление весов и активаций предназначено для снижения требований к памяти и ускорения инференса на совместимом оборудовании. Сильными сторонами являются небольшой размер, возможность локального развертывания и повышенная эффективность по сравнению с полноточной версией. Ограничения включают меньшую ёмкость по сравнению с более крупными моделями, возможные потери качества из-за квантизации и отсутствие в карточке репозитория собственных подробных оценок качества или описания ограничений. Для исходной Llama 3.2 указана Llama 3.2 Community License — специальная коммерческая лицензия Meta; условия применения производной FP8-модели следует проверять по лицензии базовой модели и файлам репозитория.

tanliboy/llama-3.2-3b-sft-2 — дообученная модель семейства Llama 3.2, созданная на основе tanliboy/llama-3.2-3b с использованием набора данных tanliboy/OpenHermes-2.5-reformat. Это плотная авторегрессионная языковая модель на 3,2 млрд параметров для генерации текста и диалогов; карточка указывает контекстное окно 131 072 токена и поддержку интерфейса вызова инструментов. В README приведено значение loss 0,6744 на evaluation set, но не описаны протокол оценки и практические сценарии.

voidful опубликовал в формате Transformers разговорную языковую модель семейства Llama 3.2 с плотной архитектурой LlamaForCausalLM и 7,5 млрд параметров. Метаданные указывают на генерацию текста, чат и интерфейс вызова инструментов; модель принимает текст и генерирует текст. Заявленная длина контекста составляет 131 072 токена. Карточка README называет модель «Patched LLama 3.2 8B from LLaMA 3.2 11B Model» и упоминает изменение весов, но не объясняет метод и результат патчинга. Языки и лицензия в карточке не заполнены. Перед использованием следует учитывать, что README не описывает качество, обучающие данные, ограничения и условия лицензии; оценить их по представленным сведениям нельзя.

Llama3-70B-Chinese-Chat — диалоговая языковая модель Shenzhi Wang и соавторов, дообученная методом ORPO на базе Meta-Llama-3-70B-Instruct. Она предназначена для общения на китайском и английском языках, ролевых диалогов, математических задач и вызова инструментов. Модель имеет плотную архитектуру LlamaForCausalLM, около 69,5 млрд параметров и контекст до 8192 токенов; принимает текст и генерирует текст. Авторы сообщают, что обучение на более чем 100 тысячах пар предпочтений с примерно равной долей китайских и английских данных уменьшает смешение языков в ответах. В README приведены результаты C-Eval и CMMLU; эти заявления отражают оценку авторов и не гарантируют качество на других задачах. Лицензия — Llama 3 License. Карточка предупреждает, что модель не дообучали на сохранение идентичности, поэтому ответы о её личности и разработчиках могут быть случайными.

Карточка модели princeton-nlp/Llama-3-Instruct-8B-DPO-v0.2 на Hugging Face совпадает с карточкой princeton-nlp/Llama-3-Instruct-8B-SimPO-v0.2, поэтому описание составлено по ней. Llama-3-Instruct-8B-SimPO-v0.2 — диалоговая языковая модель семейства Llama, выпущенная командой Princeton NLP как модель из работы SimPO (Simple Preference Optimization with a Reference-Free Reward). Она предназначена для генерации текста в формате инструкций и диалога. Модель содержит 7,5 млрд параметров, принимает текст и имеет контекстное окно 8192 токена. Модель связана с исследованием оптимизации предпочтений без эталонной модели. В карточке не приведены подробности обучения, оценки качества или специальные области применения; метаданные указывают поддержку чата и формат весов safetensors. Лицензия в предоставленных данных не указана.

Llama-NextGen-9b — объединённая языковая модель на архитектуре Llama, созданная с помощью LazyMergekit из gradientai/Llama-3-8B-Instruct-Gradient-1048k и failspy/Llama-3-8B-Instruct-MopeyMule. Это плотная авторегрессионная модель объёмом 9,2 млрд параметров, предназначенная для генерации текста и диалогов. Репозиторий содержит веса в формате safetensors; конфигурация слияния использует метод passthrough и объединённый токенизатор. Модель подходит для чат-ответов и генерации текста. В каталожных метаданных указано контекстное окно 8192 токена, хотя одна из исходных моделей описана как имеющая контекст до 1 048 576 токенов; это значение базовой модели не следует считать контекстом данного слияния. Языки и специализированные области применения в карточке не определены. Условия лицензии в предоставленных данных не указаны.

M7Yamshadowexperiment28_ShadowT3q — объединённая модель генерации текста на архитектуре Mistral, созданная из automerger/M7Yamshadowexperiment28-7B и automerger/ShadowT3q-7B. Она предназначена для генерации ответов на текстовые запросы; базовая модель ShadowT3q-7B также описана как модель для математических задач. Модель содержит 7,1 млрд параметров, принимает текст и выдаёт текст, её контекстное окно составляет 32 768 токенов. Веса опубликованы в формате safetensors, лицензия — Apache-2.0. Языковая специализация и отдельные результаты оценки в карточке не описаны.

MeliodasNeuralsirkrishna-7B — автоматически объединённая Maxime Labonne модель на архитектуре Mistral с 7,1 млрд параметров. Она создана методом SLERP из AurelPx/Meliodas-7b-dare и Kukedlc/NeuralSirKrishna-7b; в конфигурации базовой указана AurelPx/Meliodas-7b-dare. Модель предназначена для генерации текста и диалогов. Она принимает текст и поддерживает контекст до 32 768 токенов. Репозиторий содержит веса в формате safetensors; модель распространяется по лицензии Apache-2.0.

MeliodasT3q_Experiment26Neuralarjuna — объединённая текстовая модель, созданная на основе automerger/MeliodasT3q-7B и automerger/Experiment26Neuralarjuna-7B. Она предназначена для генерации текста и диалогов, включая сценарии с длинными запросами и историей переписки. Модель использует плотную архитектуру Mistral с причинно-следственной языковой моделью и содержит 7,1 млрд параметров. Поддерживает контекст до 32 768 токенов и распространяется в формате Safetensors по лицензии Apache-2.0. Данных о специальных предметных областях или поддерживаемых языках в предоставленной карточке нет.

NaniDAO выпустила экспериментальную абляционную версию Meta-Llama-3.1-8B-Instruct с контекстом до 128K токенов. Модель предназначена для диалогов и генерации текста; по заявлению разработчика, она реже отказывает в допустимых запросах, чем предыдущая версия v0. Модель использует плотную архитектуру LlamaForCausalLM, содержит 7,5 млрд параметров и распространяется в формате safetensors через библиотеку Transformers. Метаданные указывают интерфейс для чата и вызова инструментов. Карточка не сообщает о специальной предметной области или поддерживаемых языках. Лицензия в предоставленных данных не указана. Разработчик рекомендует использовать модель ответственно; заявленное снижение отказов само по себе не подтверждает качество или безопасность ответов.

MFANN-Llama3.1-Abliterated-SLERP-V5 — объединённая методом SLERP языковая модель, созданная разработчиком netcat420 с помощью mergekit на основе mlabonne/Meta-Llama-3.1-8B-Instruct-abliterated и netcat420/MFANNv0.25. Это плотная причинно-авторегрессионная модель семейства Llama с архитектурой LlamaForCausalLM и 7,5 млрд параметров, предназначенная для диалогов и генерации текста. Модель принимает текст и выдаёт текст; заявленный размер контекста — 131 072 токена. Модель рассчитана на интерактивные беседы и генерацию ответов. Базовая модель описана в каталоге как диалоговая Llama 3.1 8B Instruct с ослабленными ограничениями на ответы. Файлы представлены в формате safetensors; метаданные указывают библиотеку Transformers. Лицензия в предоставленных данных не указана.

miiqu-f16 — разговорная языковая модель от Infinimol AI GmbH на архитектуре Llama, представленная в формате safetensors для Transformers. Модель рассчитана на генерацию текста и диалоговое взаимодействие; в README также приведён результат на EQ-Bench — 8-е место в сравнении с несколькими крупными чат-моделями. Заявленное окно контекста — 32 768 токенов. Модель содержит 90,1 млрд параметров по метаданным. README сообщает, что она создана без дообучения и дополнительного обучения; метаданные помечают её как слияние, поэтому происхождение следует считать слиянием моделей. Доступны варианты GGUF Q4_K_M и EXL2 5.0 bpw. Для диалогов указаны шаблоны ChatML и Mistral. Метаданные отмечают поддержку английского, немецкого, французского, испанского и итальянского языков. Лицензия обозначена как other, без конкретных условий в предоставленных данных.

MiniCPM5-1B-i1-GGUF — это набор imatrix-квантизированных версий базовой языковой модели openbmb/MiniCPM5-1B, подготовленный пользователем mradermacher. Модель предназначена для генерации текста, работы с длинным контекстом и вызова инструментов, включая локальное использование на устройствах с ограниченными ресурсами и edge-сценарии. В карточке указаны английский и китайский языки, а также датасеты Ultra-FineWeb, Ultra-FineWeb-L3, UltraData-Math и UltraData-SFT-2605, использованные для базовой модели. Модель имеет размер 1 млрд параметров и распространяется в формате GGUF с различными уровнями квантизации — от IQ1_S до Q6_K. Размер файлов составляет примерно от 0,5 до 1 ГБ; вариант i1-Q4_K_M отмечен как быстрый и рекомендуемый, а i1-Q4_K_S — как оптимальный по соотношению размера, скорости и качества. Более агрессивные варианты занимают меньше места, но могут заметно уступать в качестве, тогда как более крупные варианты обычно сохраняют качество лучше. Поддержка мультимодальности и точный размер контекста в README не указаны. Лицензия модели — Apache-2.0. Доступны готовые квантизированные файлы, а также imatrix-файл для создания собственных квантов. Ключевое ограничение — компромисс между компактностью и качеством, особенно у вариантов с низкой точностью; конкретные показатели производительности и качества в карточке не приведены.

MiniCPM5-2B-heretic-i1-GGUF — это GGUF-квантизированная версия языковой модели MiniCPM5-2B-heretic, опубликованная и квантизированная пользователем mradermacher. Базовая модель указана как Dingdust/MiniCPM5-2B-heretic; исходная разработка связана с экосистемой MiniCPM. Модель предназначена для генерации текста, работы с длинным контекстом, вызова инструментов и локального запуска на устройствах с ограниченными ресурсами. Заявлены английский и китайский языки. Модель относится к классу компактных text-generation-моделей с примерно 2 млрд параметров и представлена в формате GGUF. Доступны варианты квантизации от очень компактных IQ1/IQ2 до IQ4, Q5 и Q6, размером примерно от 0,8 до 2,2 ГБ; варианты различаются балансом между требованиями к памяти, скоростью и качеством. Для части вариантов указана imatrix-квантизация, а Q4_K_M отмечена как быстрая и рекомендуемая. Компактность делает модель подходящей для локального и периферийного развёртывания, однако сильное сжатие может заметно ухудшать качество. В README не приведены точный размер контекстного окна, детальное описание архитектуры, результаты бенчмарков, мультимодальные возможности и конкретные ограничения поведения модели. Лицензия — Apache-2.0.

MiniCPM-o 4.5 — мультимодальная модель команды OpenBMB для понимания изображений, речи и видео, а также голосового и текстового диалога в реальном времени. Это сквозная плотная архитектура на основе SigLIP2, Whisper-medium, CosyVoice2 и Qwen3-8B; в метаданных репозитория указаны 7,6 млрд параметров и контекст 40 960 токенов. Модель принимает изображения, аудио и непрерывные аудио-видеопотоки, а также формирует текстовые и речевые ответы; поддерживает полно-дуплексное взаимодействие, распознавание речи, анализ говорящего, описание аудио, OCR и разбор документов. Для изображений заявлена обработка разрешением до 1,8 млн пикселей, для видео — частота до 10 кадров в секунду; README указывает мультиязычные возможности более чем на 30 языках и двуязычный голосовой диалог на английском и китайском. Модель рассчитана на визуальные вопросы и ответы, работу с документами и сценами, транскрибацию и анализ аудио, а также потоковые голосовые и мультимодальные приложения, включая локальный запуск. Метаданные указывают библиотеку Transformers и форматы ONNX и safetensors; README также описывает варианты запуска и квантованные сборки через сторонние инструменты. Заявленные показатели качества приведены авторами README и не являются независимой гарантией. Лицензия репозитория — Apache-2.0.