I.11Классификация, ранжирование и сопоставление

Citaman/command-r-38-layer — объединённая модель генерации текста на архитектуре CohereForCausalLM, созданная автором репозитория с помощью mergekit. В README указано слияние методом SLERP двух срезов одной модели Citaman/command-r-39-layer со сдвигом диапазонов слоёв; метаданные также связывают модель с этой базовой моделью. Репозиторий содержит веса в формате safetensors и bfloat16. Модель предназначена для генерации текста и диалогового взаимодействия; в метаданных отмечен интерфейс вызова инструментов. Размер составляет 33,3 млрд параметров, родной контекст — 8192 токена. Условия лицензии и сведения о поддерживаемых естественных языках в предоставленных данных отсутствуют.

Это GGUF-квантизированная версия языковой модели cogito-v1-preview-qwen-32B, разработанной deepcogito и подготовленной пользователем bartowski. Модель предназначена для генерации текста и запуска локально через llama.cpp, LM Studio и другие совместимые проекты на базе llama.cpp. Она может применяться для диалогов, написания и преобразования текста, а также других сценариев текстовой генерации, поддерживаемых базовой моделью. Модель содержит около 32 млрд параметров и доступна в вариантах от BF16 до различных уровней квантования Q8, Q6, Q5, Q4, Q3 и IQ. Квантизация выполнена с использованием imatrix, что позволяет уменьшить требования к памяти при сохранении высокого качества; варианты Q6_K_L, Q6_K, Q5 и Q4 отмечены автором как рекомендуемые, а Q3 предназначены для систем с ограниченным объёмом RAM и дают более низкое качество. В README не указаны поддерживаемые языки, размер контекста, мультимодальные возможности и специализированные ограничения базовой модели. Для работы следует использовать формат prompt с маркерами ролей ChatML. Модель распространяется по лицензии Apache-2.0.

dolphin-2.0-mistral-7b-Mistral-7B-Instruct-v0.1 — чат-модель на архитектуре Mistral с 7,1 млрд параметров, созданная объединением mistralai/Mistral-7B-Instruct-v0.1 и cognitivecomputations/dolphin-2.0-mistral-7b методом SLERP. Конфигурация указывает диапазон слоёв 0–32 для обеих моделей и формат весов bfloat16. Модель предназначена для генерации текста в ответ на инструкции и диалоговые запросы. Она принимает текст и выдаёт текст; заявленная длина контекста — 32 768 токенов, язык в карточке — английский. Репозиторий содержит веса в формате safetensors. Модель распространяется по лицензии Apache-2.0. Карточка не приводит оценок качества или подробных ограничений; качество ответов может зависеть от формулировки запроса и задач, на которых проверяется модель.

jaspionjader/ek-6 — объединённая языковая модель автора jaspionjader, созданная методом Model Stock с помощью mergekit на основе jaspionjader/ek-1 и с включением jaspionjader/ek-3 и jaspionjader/ek-5. Это плотная авторегрессионная модель семейства Llama с архитектурой LlamaForCausalLM и 7,5 млрд параметров; она предназначена для генерации текста и диалогового общения. Модель принимает текст и выдаёт текст, поддерживает контекст до 131 072 токенов и распространяется в формате safetensors для библиотеки Transformers. В карточке указана лицензия; конкретный тип лицензии здесь не приведён.

gemma-3-12b-it-heretic — модифицированная версия Google Gemma 3 12B Instruct, опубликованная пользователем saidutta69 и созданная с помощью Heretic 1.4.0. Модель предназначена для локальных агентов, диалоговых приложений, генерации текста, ответов на вопросы по изображениям и исследований механизмов выравнивания и отказов моделей. Она сохраняет мультимодальность базовой модели: работает с текстом и изображениями; заявлен английский язык. Модель рассчитана на запуск через Transformers, llama.cpp, Ollama, LM Studio, Jan, vLLM и SGLang. Это модель примерно на 12,2 млрд параметров с архитектурой Gemma 3 и поддержкой инструкций. Вариант heretic получен не дообучением, а направленным редактированием весов attention output-проекций и MLP down-проекций методом abliteration. Цель изменения — подавить поведение, связанное с отказами, сохранив знания и следование инструкциям базовой модели. Для запуска рекомендуются GPU с 16–24 ГБ памяти; доступны полновесные BF16-файлы и GGUF-квантизации Q4_K_M и Q5_K_M. Точный размер контекстного окна в README не указан. По заявленным тестам, модель отказала в 40 из 100 проверочных adversarial-запросов против 99 отказов у базовой Gemma 3 12B Instruct; KL-дивергенция относительно базы составила 0,1006. Сильной стороной является сочетание мультимодальных возможностей Gemma 3 с существенно сниженным количеством отказов. Ограничения включают неполное устранение отказов, более широкое изменение поведения по сравнению с некоторыми другими abliteration-моделями, унаследованные от базовой модели фактические ограничения и смещения, а также отсутствие дополнительной фильтрации безопасности. README предупреждает о рисках неограниченного публичного развертывания. Лицензия — Gemma, унаследованная от базовой модели; условия приведены в связанной лицензии Google.

MaziyarPanahi/gemma-3-27b-it-GGUF — это набор квантованных файлов модели Gemma 3 27B Instruct в формате GGUF. Исходную модель разработала Google, а конвертацию и публикацию квантованных версий выполнил MaziyarPanahi. Модель предназначена для генерации текста и использования в диалоговых и других сценариях, поддерживаемых исходной instruct-моделью. Репозиторий содержит варианты квантования с разрядностью 2, 3, 4, 5, 6 и 8 бит, что позволяет выбирать компромисс между размером файлов, требованиями к памяти, скоростью работы и качеством ответов. Формат GGUF ориентирован на локальный запуск и поддерживается llama.cpp, llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All и другими совместимыми инструментами; некоторые из них поддерживают ускорение на GPU и OpenAI-совместимый сервер. Ключевые сведения об архитектуре, поддерживаемых языках, модальностях и размере контекста в README не указаны. Ограничения зависят от выбранного уровня квантования и используемого клиента. Лицензия для опубликованных файлов в предоставленных данных не указана.

Gemma 3n E2B IT — мультимодальная инструктивная модель Google для работы на устройствах с ограниченными ресурсами. Она принимает текст, изображения, видео и аудио, а выдаёт текст; запуск поддерживается библиотекой Hugging Face Transformers. Модель основана на архитектуре MatFormer с выборочной активацией параметров и использует вложенную подмодель из Gemma 3n E4B IT. При общем количестве около 6 млрд параметров её эффективный размер и требования к памяти сопоставимы с традиционной моделью на 2 млрд параметров. Модель подходит для диалоговых помощников, создания и обобщения текстов, ответов на вопросы по визуальным материалам, расшифровки речи и перевода речи в текст. Обучение охватывало более 140 разговорных языков, но карточка не выделяет основной язык. Возможности включают мультимодальный ввод с изображениями и видео, а также аудио; метаданные каталога подтверждают задачу image-text-to-text и возможности чата и зрения. Ответы могут содержать фактические ошибки и отражать предвзятость обучающих данных; модели также бывает трудно обрабатывать неоднозначность и сложные открытые задачи. Лицензия Gemma; применяйте модель с учётом условий лицензии Google Gemma.

Gemma 4 12B RKNn3 для RK1828 — адаптированная для запуска на устройстве версия Gemma 4 12B IT от Google DeepMind, подготовленная проектом t-firefly для LlamaPi. Это плотная мультимодальная модель семейства Gemma4 Unified, распространяемая в форматах GGUF и safetensors и ориентированная на локальное использование на периферийных устройствах. Модель принимает текст, изображения, аудио и видео, а выдаёт текст; поддерживает диалог, рассуждения, программирование и агентные сценарии. В исходной карточке заявлены контекст 256 тысяч токенов и поддержка более 140 языков. Модель подходит для локального чат-ассистента, анализа мультимодальных входных данных и задач на устройстве RK1828 через LlamaPi. Репозиторий указывает лицензию Apache-2.0. Сведения о качестве и ограничениях именно сборки для RK1828 в карточке не приведены.

Tech2wild/GLM-5.3-Int4-Int8Mix — это смешанная квантованная версия GLM-5.3, разработанной zai-org. Модель основана на архитектуре glm5_next и представляет собой MoE-модель общим размером 743 млрд параметров, из которых около 40 млрд активируются для одного запроса. Она предназначена для генерации текста и запуска через Transformers и vLLM в формате compressed-tensors, прежде всего на конфигурации из четырёх NVIDIA DGX Spark с графическими процессорами GB10. Квантование выполнено без калибровочных данных по схеме статического симметричного weight-only mixed precision с размером группы 128. Основная масса MoE-экспертов использует W4A16, а плотные слои и attention — W8A16; маршрутизаторы, компоненты sparse attention, выходная голова и ряд служебных блоков сохранены в полной точности. Исходная модель поддерживает контекст до 1 млн токенов, однако в приведённой конфигурации заявлен запуск с длиной до 131 072 токенов и возможность расширения примерно до 600 000 токенов с Decode Context Parallel. Модель ориентирована на длинноконтекстную генерацию, многопоточную подачу запросов и speculative decoding с совместимым DFlash2-драфтером. Ключевое преимущество — уменьшенный объём весов около 378 ГБ, что позволяет обслуживать модель на четырёх DGX Spark с запасом памяти под KV-кэш; заявлена производительность до 46,03 токена в секунду при шести одновременных потоках. Ограничения включают очень высокие требования к памяти и необходимость tensor parallelism, а для GB10/sm121 — специальных kernel overlays для sparse MLA и FP8 KV. Четырёхбитное квантование даёт заметную численную погрешность, поэтому сохранение критичных компонентов в BF16 важно для качества. Лицензия указана как glm-5.3; подробные условия доступны по ссылке на лицензию базовой модели zai-org/GLM-5.3.

NVIDIA gpt-oss-120b-Eagle3-short-context — текстовая модель для генерации ответов, основанная на OpenAI gpt-oss-120b и дополненная модулем Eagle3 для спекулятивного декодирования. Базовая gpt-oss-120b использует архитектуру Mixture-of-Experts с 120 млрд общих и 5 млрд активируемых параметров; этот репозиторий содержит 739,4 млн параметров Eagle-модуля. Модель принимает текст и генерирует текст, а её контекстное окно составляет 131 072 токена. Модель предназначена для разработчиков чат-ботов, ИИ-агентов и RAG-систем, а также для диалогов и выполнения инструкций. Вариант short-context обычно предпочтителен для запросов с контекстом менее 8 тысяч токенов. Eagle3 предсказывает кандидаты следующих токенов, которые проверяет базовая модель, ускоряя генерацию при принятии нескольких токенов за шаг. Для запуска NVIDIA указывает TensorRT-LLM и GPU NVIDIA; README описывает совместимость с Blackwell. Модель оптимизирована для инференса на системах с GPU NVIDIA. Карточка заявляет готовность к коммерческому и некоммерческому использованию, но в метаданных лицензия обозначена как other, поэтому перед применением следует проверить условия лицензии репозитория. Качество и безопасность необходимо проверять на данных и сценариях конкретного приложения; опубликованные результаты приводят показатели принятия токенов Eagle на MT-Bench, а не оценку качества ответов.

Hermes-2-Pro-Mixtral-4x7B — разговорная языковая модель, собранная Isotonic как смесь экспертов (MoE) с помощью LazyMergekit из четырёх копий NousResearch/Hermes-2-Pro-Mistral-7B. Модель предназначена для диалогов по инструкциям и генерации текста; поддерживает формат чата ChatML, многошаговое общение, вызов функций и структурированные ответы в JSON. В карточке указано 7,1 млрд параметров и контекст длиной до 32 768 токенов. Репозиторий содержит веса Safetensors; для 4-битного инференса README приводит ориентир около 5 ГБ видеопамяти. Модель может подойти для чат-ботов, ассистентов и сценариев с вызовом инструментов. Лицензия — Apache-2.0. Данных о поддерживаемых естественных языках и конкретных оценках качества в карточке нет.

QuantFactory/Hermes-2-Theta-Llama-3-8B-GGUF — квантованная GGUF-версия Hermes-2-Theta-Llama-3-8B, созданная с использованием llama.cpp. Исходную модель разработала Nous Research совместно с Charles Goddard из Arcee, при этом Hermes-2 Theta представляет собой экспериментальное объединение Hermes 2 Pro и Meta Llama 3 Instruct с последующим обучением с подкреплением на основе обратной связи человека (RLHF). Модель предназначена для генерации текста и диалогового взаимодействия на английском языке. Модель ориентирована на многошаговые чаты, следование системным инструкциям, генерацию структурированного JSON и вызов функций. Она использует формат промптов ChatML с ролями system, user и assistant, поддерживает chat template и совместима с подходом OpenAI к форматированию диалогов. В карточке также указано обучение на датасете teknium/OpenHermes-2.5 и наличие методов DPO, синтетических данных и дистилляции в контексте разработки. Размер исходной модели — 8B параметров; точный тип и уровень квантования, размер контекста и требования к ресурсам не указаны. Сильными сторонами являются сочетание возможностей Hermes 2 Pro и Llama 3 Instruct, поддержка управляемых диалогов, function calling и JSON-вывода. Модель описана как экспериментальная, а в карточке отсутствуют количественные результаты оценки, сведения о конкретных вариантах квантования и подробные ограничения качества, поэтому пригодность для конкретных задач следует проверять отдельно. Распространение указано по лицензии Apache 2.0.

Hermes-4-14B-4bit — языковая instruction-модель, разработанная NousResearch и преобразованная сообществом mlx-community в формат MLX из NousResearch/Hermes-4-14B с использованием mlx-lm 0.27.0. Модель предназначена для генерации текста и диалоговых сценариев на английском языке, включая ответы общего назначения, рассуждения, ролевое взаимодействие, работу с функциями и инструментами, JSON Mode и структурированными ответами. Модель имеет размер 14 млрд параметров и использует 4-битное квантование. Она совместима с библиотекой mlx-lm и рассчитана на запуск в экосистеме MLX. В описании заявлены поддержка chat-сценариев, ChatML, function calling, tool use и long context, однако точный размер контекстного окна, архитектурные детали, модальности помимо текста и результаты benchmark-тестов не указаны. К сильным сторонам относятся instruction-настройка, возможности рассуждения, структурированной генерации и взаимодействия с инструментами, а также оптимизация в 4-битном формате для использования через MLX. Ограничения включают отсутствие подтверждённых количественных оценок качества и недостаток сведений о производительности, точной поддержке языков и поведении на задачах, не связанных с английским языком. Модель распространяется по лицензии Apache-2.0.

Это независимая производная модель Huihui-Qwen3.8-27B-abliterated, подготовленная на основе исходных BF16-весов Huihui и с использованием схемы NVFP4 от Gittensor. Релиз не является официальным продуктом Huihui, Gittensor, Qwen, NVIDIA или SGLang. Модель распространяется под лицензией Apache 2.0. Модель предназначена для генерации текста и мультимодальных сценариев image-text-to-text, включая агентские задачи, работу с инструментами и сложные задачи рассуждения и программирования. Она основана на архитектуре Qwen3.8 с 27 млрд параметров и использует квантование NVFP4 W4A4 с размером группы 16. В процессе подготовки vision-компоненты, embeddings и отдельные слои Gated-DeltaNet были исключены из NVFP4; native MTP head удалён из deployment-варианта. Поддерживается контекст до 262 144 токенов при конфигурации SGLang, указанной в карточке. Сведения о языках обучения или полном перечне поддерживаемых языков отсутствуют. К сильным сторонам относятся сниженные требования к памяти благодаря NVFP4, совместимость с layout и метаданными Gittensor, а также возможность запуска на одной NVIDIA RTX 5090 с SGLang. Для ускоренного декодирования предусмотрена отдельная совместимая модель-черновик DSpark. Ограничения включают ориентацию на конкретную GPU-конфигурацию и serving-стек, необходимость специальной настройки SGLang, отсутствие встроенного MTP head и зависимость ускоренного режима от отдельного DSpark checkpoint. Архитектурные и поведенческие последствия абляции слоёв 18–51 по описанию исходной модели и слоёв 17–51 по прямому сравнению тензоров отдельно не оценены.

HyperCLOVA X SEED 14B Think — плотная языковая модель семейства HyperCLOVAX, разработанная командой HyperCLOVA X. Она предназначена для диалогов и генерации текста с возможностью пошагового рассуждения, в том числе для математических и кодовых задач. Разработчики использовали pruning и дистилляцию знаний, а затем многоэтапное обучение: SFT, обучение с проверяемыми наградами, настройку длины рассуждений и совместное обучение с обратной связью от людей и проверяемыми наградами. В README приведён размер 14,74 млрд параметров; метаданные указывают 14,1 млрд параметров и контекст 131 072 токена. Архитектура основана на Transformer, Peri-Layer Normalization и μP; модель принимает и выдаёт текст. README сообщает о сильных результатах на корейском языке и знании корейской культуры, а также о конкурентных результатах в математике и программировании. Длину рассуждений можно задавать текстовой инструкцией; поддерживается многоходовый диалог и описан сценарий вызова инструментов. Модель подходит для корейскоязычных диалоговых помощников, решения задач на рассуждение и ответов на вопросы, а также для генерации и объяснения кода. README приводит контекст 32 тыс. токенов, тогда как метаданные указывают 131 072 токена. Лицензия помечена как other, поэтому конкретные условия использования следует проверять в файлах репозитория модели.

InternLM3-8B-Instruct-GGUF — это 8-миллиардная instruction-модель семейства InternLM, опубликованная командой InternLM и представленная в формате GGUF. Данный набор квантованных версий подготовлен bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и диалогового взаимодействия, включая запуск локально через llama.cpp или LM Studio. Формат prompt не указан, поэтому для корректного применения следует обратиться к странице исходной модели. Доступны варианты от полноточных F32 и F16 до квантований Q8, Q6, Q5, Q4, Q3 и Q2, размером примерно от 3,82 до 35,22 ГБ. Квантованные версии снижают требования к памяти, сохраняя различный уровень качества; README рекомендует несколько вариантов Q6, Q5 и Q4 как оптимальные по соотношению качества и размера. Сведения о поддерживаемых языках, длине контекста, модальностях и конкретной архитектуре в README не приведены. Модель распространяется под лицензией Apache-2.0.

InternVL2-40B — мультимодальная чат-модель с настройкой по инструкциям, разработанная командой OpenGVLab. Она объединяет визуальный энкодер InternViT-6B-448px-V1-5, MLP-проектор и языковую часть Nous-Hermes-2-Yi-34B; в метаданных указано происхождение через слияние этих моделей. Модель содержит около 40 млрд параметров и рассчитана на контекст до 8 тыс. токенов. Модель принимает текст и изображения, а также предназначена для анализа видео через кадры. Она отвечает на вопросы по изображениям и документам, распознаёт текст на сценах, разбирает диаграммы и инфографику, решает научные и математические задачи и поддерживает диалог. Карточка заявляет конкурентные результаты на ряде мультимодальных тестов, но они не гарантируют качество на конкретных данных пользователя. Репозиторий распространяется под лицензией MIT. Для запуска в Transformers требуется соответствующая инфраструктура; размер модели требует значительных вычислительных ресурсов. В метаданных указаны мультиязычность и поддержка чата, но конкретные языки не перечислены.

InternVL3-8B — мультимодальная модель OpenGVLab для диалога по тексту и визуальным данным. Она построена по схеме ViT-MLP-LLM: использует InternViT-300M-448px-V2_5 как визуальную часть и Qwen2.5-7B как языковую; число параметров — около 8 млрд по названию модели. Репозиторий содержит дообучение OpenGVLab/InternVL3-8B-Instruct на наборе MMPR-v1.2. Модель распространяется в формате Safetensors и использует библиотеку Transformers. Модель предназначена для вопросов и рассуждений по изображениям, нескольким изображениям и видео, а также для обычного текстового общения. В карточке семейства также заявлены сценарии GUI-агентов, анализа промышленных изображений, понимания 3D-сцен и работы с инструментами. Динамическое разбиение изображений на тайлы 448×448 и кодирование визуальных позиций V2PE помогают обрабатывать изображения разного разрешения и длинные мультимодальные последовательности. Карточка описывает семейство как мультиязычное, но не перечисляет отдельные языки. Модель выпущена под лицензией Apache-2.0. Результаты зависят от качества входных изображений и формулировки запроса; обработка нескольких изображений увеличивает расход контекстных токенов. Для видео и инструментов конкретные ограничения и гарантии в карточке не приведены.

InternVL-Chat-V1-5 — мультимодальная диалоговая модель OpenGVLab, объединяющая визуальный кодировщик InternViT-6B-448px-V1-5, MLP-проектор и языковую модель InternLM2-Chat-20B. В модели 25,5 млрд параметров; она использует динамическую обработку изображений: делит изображение на фрагменты 448 × 448 пикселей и поддерживает входы вплоть до разрешения 4K. Модель предназначена для диалога по изображениям, визуальных вопросов и ответов, распознавания текста и анализа документов, диаграмм и графиков. Обучающий набор включает английские и китайские пары вопросов и ответов; метаданные указывают поддержку многоязычия. Модель доступна через Transformers и распространяется по лицензии MIT. В README отмечены сильные стороны в задачах визуального понимания, OCR и работе с китайским текстом. Ограничения включают возможные предвзятые или вредоносные ответы, а также ухудшение понимания изображений при 4-битной квантизации bitsandbytes; авторы рекомендуют избегать этого режима.

Mungert/Jan-v1-4B-GGUF — это GGUF-квантизированная версия Jan-v1, небольшой агентной языковой модели, разработанной Jan/Jan AI и основанной на Qwen3-4B-Thinking-2507. Конкретный репозиторий содержит сборки, созданные с использованием llama.cpp; автор применяет собственный подход к квантизации с повышением точности отдельных важных слоёв. В метаданных указан английский язык, размер базовой модели — 4B параметров, модальность — текстовая генерация. Модель предназначена для агентного рассуждения, решения сложных задач, ответов на вопросы, диалогового взаимодействия и использования инструментов, включая сценарии интеграции с Jan App. В исходной карточке заявлены 91,1% точности на SimpleQA и улучшенные возможности рассуждения и tool use, однако приведённые результаты относятся к Jan-v1 в целом и могут не полностью отражать поведение конкретной GGUF-квантизации. Поддерживаются локальный запуск через llama.cpp и интеграция с инструментами, совместимыми с форматом модели. Сильными сторонами являются компактный размер, ориентация на агентные задачи и потенциально более высокая точность при заданном уровне квантизации благодаря повышению точности отдельных слоёв. Ограничения включают зависимость качества от выбранного GGUF-варианта и параметров квантизации, а также отсутствие в карточке точного размера контекста, перечня доступных квантизаций, детальных сравнительных результатов и описания дополнительных языков. Лицензия модели — Apache 2.0.

JoyFox-OmniFlow-9B — мультимодальная модель общего назначения от JoyFox на основе OpenBMB MiniCPM-o 4.5. Она поддерживает диалог на английском, китайском и других языках, выполнение инструкций, ответы на сложные вопросы, математические рассуждения, генерацию кода, ролевые сценарии и вызов инструментов. Модель принимает текст, изображения, видеокадры и аудио, а также поддерживает потоковое взаимодействие в режиме full-duplex с одновременным аудио- и визуальным вводом и текстовым или речевым выводом. Архитектура MiniCPMO включает языковую модель, визуальный и аудиоэнкодеры, мультимодальные проекционные слои и модуль синтеза речи. В README указан размер 9B, а метаданные сообщают 7,6 млрд параметров; контекст — до 40 960 токенов. Релиз распространяется в BF16 Safetensors и включает ресурсы для TTS и клонирования голоса по образцу аудио. Для полной потоковой генерации речи требуются дополнительные зависимости minicpmo-utils[all]. Модель загружается через Transformers; в README описана проверка полной загрузки на GPU NVIDIA RTX PRO 6000 Blackwell. Независимые внешние результаты бенчмарков не приведены; качество потокового взаимодействия зависит от конфигурации аудио и видео и среды выполнения. Возможны неточные, предвзятые или неподходящие ответы, а схемы и аргументы вызова инструментов требуют проверки. Лицензия — Apache-2.0.

KordAI/KeawGPT-Opus — англоязычная плотная авторегрессионная языковая модель семейства Qwen3 с 3,7 млрд параметров, разработанная KordAI как дообучение KordAI/KeawGPT. Модель принимает текст и генерирует текст; поддерживает диалоговый режим и интерфейс вызова инструментов. Для работы с контекстом поддерживается до 32 768 токенов. Модель предназначена для генерации текста и диалоговых сценариев на английском языке. Она распространяется в формате safetensors по лицензии Apache-2.0. В карточке указано, что обучение проводилось с использованием Unsloth и библиотеки TRL от Hugging Face.

AtomicChat/LFM2.5-8B-A1B-GGUF — это текстовая генеративная модель в формате GGUF, созданная Atomic Chat на основе LiquidAI/LFM2.5-8B-A1B. Репозиторий содержит самостоятельно выполненные квантования исходных весов с использованием importance matrix, рассчитанной для каждого тензора, поэтому модель предназначена для локального и полностью офлайн-использования через llama.cpp, MLX, vLLM, SGLang и совместимые приложения. Модель рассчитана на роль персонального помощника на устройствах с ограниченными ресурсами: она поддерживает диалог, сложные инструкции, последовательные вызовы инструментов и агентские сценарии. Это текстовая Mixture-of-Experts-модель с 8,5 млрд параметров, 24 слоями и 32 экспертами, из которых для обработки выбираются 4; архитектура также включает 32 attention heads и 8 KV heads. Заявленная длина контекста — до 128 000 токенов, размер словаря — 128 000 токенов. Поддерживаемая модальность — текст; сведения о языках в README не указаны. Сильные стороны модели — высокая скорость инференса на CPU и GPU, широкий выбор квантований от Q2_K до Q8_0 и хорошее сохранение качества при использовании importance matrix. В качестве сбалансированного варианта рекомендуется Q4_K_M, а Q6_K и Q8_0 ориентированы на более высокую точность. К ограничениям относятся неизбежная потеря качества в низкобитных вариантах, требования к памяти, зависящие от выбранного квантования, и необходимость применять chat template LFM2.5 с параметром --jinja; без него возможны некорректно сформированные диалоговые ходы. Лицензия обозначена как other, подробные условия находятся в файле LICENSE.

Ling-3.0-flash-GGUF — это набор GGUF-конвертаций модели Ling-3.0-flash, разработанной inclusionAI и опубликованной пользователем bloomer010 для запуска через llama.cpp. Модель предназначена для генерации текста, диалоговых и агентских сценариев, включая вызов инструментов, рассуждения и speculative decoding. В основе лежит гибридная архитектура KDA и gated MLA с Mixture-of-Experts на 512 экспертов: общий размер составляет около 124 млрд параметров, из которых активно примерно 5,1 млрд. Конвертации напрямую созданы из BF16 safetensors и включают блок MTP/NextN, поэтому отдельная drafter-модель для этого режима не требуется. Поддерживается контекст до 256K токенов; README не указывает набор языков и наличие мультимодальных возможностей. Доступны варианты квантования от BF16 и Q8_0 до сильно сжатых IQ1 и MXFP4_MOE, что позволяет адаптировать модель к разному объёму памяти. Качество обычно выше у крупных файлов, а малые варианты требуют меньших ресурсов, но могут сильнее терять точность и стабильность. Для эффективного speculative decoding также предлагаются отдельные DSpark draft-модели. Агентское использование в llama.cpp зависит от поддержки актуальных изменений, связанных с Ling parser и обработкой некорректных UTF-8-последовательностей; без них возможны сбои при вызове инструментов в незавершённых блоках рассуждений. Модель распространяется по лицензии MIT.

TheBloke/Llama-2-7B-AWQ — это 4-битная AWQ-квантизированная версия языковой модели Llama 2 7B, разработанной Meta. Модель предназначена для генерации текста и поддерживает английский язык. Квантизацию выполнил TheBloke на основе оригинальной модели meta-llama/Llama-2-7b-hf. Модель содержит около 7 млрд параметров, использует архитектуру Llama и рассчитана на работу с последовательностями длиной до 4096 токенов. Формат AWQ оптимизирован для эффективного GPU-инференса; опубликованная версия использует параметры 4-bit, group size 128 и занимает около 3,89 ГБ. Модель может применяться в задачах генерации текста и развёртываться для многопользовательского инференса с помощью vLLM или AutoAWQ. Ключевые преимущества — существенно меньшие требования к памяти и возможность использовать более доступные GPU по сравнению с полноразмерной моделью. AWQ также поддерживает высокопроизводительный инференс и непрерывную пакетную обработку в vLLM, однако в README отмечено, что общая пропускная способность может быть ниже, чем у неквантизированной модели. Модель является текстовой и не предназначена для обработки изображений или других модальностей. Лицензия указана как llama2.

Llama3.1-8b-Instruct-CPT-SFT-DPO-09022024 — плотная авторегрессионная языковая модель семейства Llama 3.1 с 7,5 млрд параметров, опубликованная на Hugging Face в формате safetensors для библиотеки Transformers. По названию это инструкционная модель, прошедшая этапы CPT, SFT и DPO; сведения о разработчике и подробностях обучения в карточке не приведены. Модель предназначена для генерации текста в диалоговом формате и поддерживает интерфейс вызова инструментов. Метаданные указывают контекст до 131 072 токенов. Подтверждённых сведений о поддерживаемых естественных языках, специальных прикладных областях и лицензии нет, поэтому область применения и условия распространения следует уточнять у владельца модели. Карточка не содержит результатов оценки или описания ограничений; как и другие генеративные языковые модели, она может выдавать ошибочные или необоснованные ответы.

LongAlign-7B-64k — языковая модель семейства Llama, выпущенная командой LongAlign для следования инструкциям в длинном контексте. В README проект описывает набор LongAlign-10k из 10 000 инструкций длиной 8–64 тыс. токенов, а также обучение с упаковкой примеров и сортировкой по длине батча. Модель содержит 6,6 млрд параметров и рассчитана на контекст до 65 536 токенов. Модель предназначена для генерации ответов на запросы, включающие длинные документы или контекст. Карточка связывает LongAlign-7B-64k-base с Llama-2-7B, расширенной до контекста 64 тыс. токенов; данный репозиторий относится к серии LongAlign, обученной для выравнивания на длинном контексте. Поддерживаемые языки по метаданным — английский и китайский. Модель распространяется по лицензии Apache-2.0. Среди подходящих сценариев — ответы на вопросы по длинным текстам, следование инструкциям с большим контекстом и суммирование объёмных материалов. README описывает LongBench-Chat для оценки следования инструкциям при запросах длиной 10–100 тыс. токенов, но это не означает, что модель принимает контекст свыше заявленных 65 536 токенов. Приведённый фрагмент карточки не сообщает отдельные ограничения качества или подробности использования именно этой версии.

amd/MiniMax-M3-MXFP4-AttnFP8 — мультимодальная модель условной генерации MiniMaxM3SparseForConditionalGeneration, созданная AMD на основе MiniMaxAI/MiniMax-M3. Она принимает текст и изображения и генерирует текст, поэтому предназначена для мультимодального диалога, анализа изображений, агентских сценариев, задач программирования и работы с видео при наличии соответствующей интеграции. Поддерживаются функции вызова инструментов и рассуждений через vLLM. Модель использует разреженную MoE-архитектуру и оптимизирована для AMD MI350/MI355 с ROCm 7.1.1, PyTorch 2.10.0 и Transformers 5.2.0 в Linux. Веса квантизированы в формате OCP MXFP4, а слои self-attention — в PTPC-FP8; активации используют динамическое квантование MXFP4 и FP8 для self-attention. Языки и размер контекста в README не указаны. На тесте GSM8K модель получила 94,01 против 95,30 у исходной MiniMaxAI/MiniMax-M3, что соответствует восстановлению 98,65% исходного результата. Основные ограничения — требовательность к поддерживаемому оборудованию и программному стеку AMD, а также отсутствие в README подробных оценок мультимодальных возможностей, языковой поддержки и контекстного окна. Указана лицензия minimax-community; применяется лицензия с типом other.

MiroThinker-v1.0-8B-GGUF — квантованная версия языковой модели MiroThinker-v1.0-8B, разработанной miromind-ai и подготовленной в формате GGUF пользователем bartowski. Модель предназначена для генерации текста, агентских сценариев и задач deep research, включая работу в приложениях на базе llama.cpp и LM Studio. Указан английский язык. Модель содержит 8 миллиардов параметров и распространяется в нескольких вариантах точности: от BF16 до квантований Q2–Q8 и IQ. Для квантования использовался llama.cpp с методом imatrix, что позволяет уменьшить размер файлов и требования к памяти при сохранении качества; рекомендуемыми названы варианты Q4–Q6. Размер файлов составляет примерно от 3,9 до 16,39 ГБ в зависимости от формата. В README не указаны точная архитектура, максимальная длина контекста, результаты бенчмарков и дополнительные модальности, поэтому возможности модели в этих аспектах оценить нельзя. Более сильные квантования обеспечивают лучшее качество, а компактные варианты подходят для систем с ограниченной оперативной памятью, но могут заметнее терять качество. Для работы следует использовать совместимое ПО llama.cpp или LM Studio и формат промпта с маркерами ChatML. Лицензия — MIT.

MaziyarPanahi/Mistral-7B-Instruct-v0.1-GGUF — это набор файлов модели в формате GGUF для Mistral-7B-Instruct-v0.1, разработанной Mistral AI (mistralai) и квантизированной MaziyarPanahi. Модель предназначена для генерации текста и инструкционного диалога, включая локальный запуск через llama.cpp и совместимые приложения и библиотеки. Основа модели — Mistral с 7 миллиардами параметров; точные архитектурные характеристики, поддерживаемые языки и размер контекста в README не указаны. Доступны варианты квантизации от 2 до 8 бит, включая Q2_K, Q3_K, Q4_K, Q5_K и Q6_K, что позволяет выбирать компромисс между размером файла, требованиями к памяти, скоростью и качеством. Формат GGUF ориентирован на эффективный запуск, в том числе с GPU-ускорением, в локальных интерфейсах и серверных решениях. Сильными сторонами являются широкий выбор уровней квантизации и совместимость с популярными инструментами локального инференса. Ограничения включают возможное снижение качества на агрессивно квантизированных вариантах, а также отсутствие в README подробных данных о результатах оценки, языковых возможностях и контекстном окне. Модель распространяется по лицензии Apache-2.0.