I.11Классификация, ранжирование и сопоставление

Qwen3-VL-2B-Instruct-GGUF — мультимодальная vision-language модель из серии Qwen3-VL, представленная Unsloth на основе Qwen/Qwen3-VL-2B-Instruct. Репозиторий содержит GGUF-версию весов с исправлениями chat template от Unsloth и предназначен для локального запуска и интеграции с совместимыми инструментами. Модель рассчитана на обработку текста и изображений, а семейство Qwen3-VL также поддерживает понимание видео. Она предназначена для визуального диалога, распознавания и анализа содержимого изображений, OCR, пространственного рассуждения, STEM-задач, генерации кода и взаимодействия с графическими интерфейсами. Указан размер 2B параметров; архитектура описана как мультимодальная, с компонентами Interleaved-MRoPE, DeepStack и выравниванием текста с временными метками. Для семейства заявлен контекст до 256K токенов с возможностью расширения до 1M, но применимость этих характеристик именно к данной GGUF-сборке README не уточняет. Сильные стороны модели — сочетание компактного размера, визуального и текстового понимания, расширенного OCR для 32 языков, анализа пространственных отношений и видео, а также возможности локального развертывания в GGUF-формате. Ограничения включают меньший размер по сравнению с более крупными вариантами семейства и зависимость производительности от выбранного уровня квантования и используемого программного обеспечения; конкретные параметры квантования в README не указаны. Модель распространяется по лицензии Apache-2.0.

ZuzeTt/Qwen3-VL-4B-Instruct-heretic-Imatrix-GGUF — децензурированная версия мультимодальной модели Qwen3-VL-4B-Instruct, созданная пользователем ZuzeTt на основе модели Qwen и обработанная с помощью Heretic v1.0.1. Модель предназначена для работы с текстом и визуальными данными, включая понимание изображений и видео, визуальное рассуждение, OCR, анализ пространственных отношений, генерацию кода и взаимодействие с графическими интерфейсами. Модель относится к классу Dense и имеет 4 млрд параметров. Заявлены контекст длиной 256K токенов с возможным расширением до 1M, поддержка OCR на 32 языках, улучшенное понимание видео и временных связей, а также архитектурные механизмы Interleaved-MRoPE, DeepStack и Text–Timestamp Alignment. Репозиторий распространяется в формате GGUF, однако конкретные параметры квантования в README не указаны. Главная особенность версии — снижение количества отказов от ответа: в приведённом сравнении модель отказала в 8 из 100 случаев против 92 из 100 у исходной Qwen3-VL-4B-Instruct; KL-дивергенция относительно оригинала составляет 0,27. Это может быть полезно для исследовательских и экспериментальных сценариев, требующих менее ограниченного поведения, но одновременно означает изменение исходных механизмов безопасного отказа. Лицензия — Apache-2.0.

Jackrong/Qwopus3.6-27B-v2-GGUF — мультимодальная плотная модель на 27 млрд параметров, разработанная Jackrong на базе Qwen3.6-27B и представленная в формате GGUF. Модель дообучена методом supervised fine-tuning в рамках трёхэтапной учебной схемы с использованием наборов данных Jackrong/Claude-opus-4.6-TraceInversion-9000x и Jackrong/Claude-opus-4.7-TraceInversion-5000x. В заявленных возможностях указаны генерация текста, анализ изображений, рассуждения, tool use и function calling. Модель предназначена для диалоговых и агентных сценариев, решения задач, требующих структурированного рассуждения, работы с изображениями и взаимодействия с инструментами. Подход Trace Inversion используется для реконструкции подробных рассуждений и снижения логических упрощений, а форматирование с тегами <think> ориентировано на единообразную структуру вывода и последующее применение в reinforcement learning. Заявлены языки English, Chinese, Spanish, Russian и Japanese. К сильным сторонам относятся крупный размер, поддержка vision и инструментов, а также акцент на многошаговом рассуждении и совместимости с llama.cpp и Transformers. При этом README не содержит результатов бенчмарков, точного размера контекста, конкретных характеристик архитектуры, требований к ресурсам или подробностей о вариантах квантования, поэтому эти параметры нельзя оценить по имеющимся данным. Модель распространяется по лицензии Apache 2.0.

Jiunsong/SuperQwen3.8-27b-abliterated-NVFP4-DGX-Spark — это сжатая и оптимизированная для производительности мультимодальная модель, созданная Jiunsong на базе Qwen/Qwen3.8-27B. Она предназначена для задач image-text-to-text, рассуждений, работы с инструментами и обработки длинного контекста. Модель поддерживает английский и корейский языки, принимает текст и изображения, а также рассчитана на контекст до 262 144 токенов; в README подтверждён поиск данных в контексте длиной 262 043 токена. Модель использует квантизацию NVFP4 W4A4 с размером группы 16 для подходящих линейных весов и активаций. Vision tower, MTP, пути conv1d и lm_head защищены и сохраняются в исходной или BF16-точности; MTP-компонент используется для speculative decoding. Размер исходной модели — 27B параметров, объём квантизированного набора составляет около 19,15 GiB. В измеренном профиле применяется FP8 KV cache, а стабильная конфигурация speculative decoding использует K=5. Сильными сторонами являются высокая скорость декодирования на одном DGX Spark, сохранение мультимодальных возможностей, tool calling, длинного контекста и ограниченного режима рассуждений. Для конфигурации K=5 заявлена скорость 25,7592 токена в секунду, а проверки показали успешную работу с инструментами, изображениями и тестами на избыточное обдумывание. Ограничения включают возможное ухудшение качества на задачах, не охваченных проверками, зависимость производительности от конкретной среды DGX Spark и ограничение speculative decoding нативным окном 262 144 токена. Заявление об «abliterated» означает снижение измеренной склонности к отказам и не гарантирует универсальную безопасность или достоверность. Модель распространяется по лицензии Apache-2.0.

ThinkingCap-Qwen3.6-27B-NVFP4 — квантизированная версия модели ThinkingCap-Qwen3.6-27B от BottleCap AI, созданная на базе Qwen3.6-27B, разработанной командой Qwen. Модель дообучена для сохранения качества и стиля ответов базовой модели при среднем сокращении числа токенов рассуждений примерно на 50%, а затем сжата до формата NVFP4 для эффективного инференса. Это крупная модель с весами 4 бита и активациями bf16 в режиме W4A16. Размер чекпойнта составляет около 19 ГБ вместо примерно 55 ГБ для версии bf16. В составе сохранены vision tower, lm_head и MTP-голова, поэтому заявлена поддержка мультимодальных компонентов исходной модели и самоспекулятивного декодирования с multi-token prediction. Модель предназначена прежде всего для запуска через vLLM на GPU NVIDIA Hopper и Blackwell; для спекулятивного декодирования требуется vLLM версии 0.24.0 или новее. Сильные стороны модели — существенно меньшие требования к памяти, примерно двукратное ускорение декодирования относительно bf16-контрольной версии и дополнительное ускорение за счёт MTP. По данным разработчика, в отдельных тестах суммарное ускорение на задачу относительно исходной невзвешенной модели составляло примерно 4,7–8,4 раза при сопоставимой точности. Ограничение заключается в том, что текущая реализация предназначена для vLLM: SGLang пока не может загрузить weight-only NVFP4 для этой архитектуры. Для llama.cpp, Ollama и LM Studio рекомендуется использовать отдельные GGUF-квантизации. Модель распространяется по лицензии Apache-2.0, однако доступ к карточке на платформе может требовать заполнения формы и принятия условий доступа.

XCurOS-0.1-8B-Instruct — проприетарная инструкционно настроенная языковая модель, разработанная XCurOS. Она построена на архитектуре Qwen2 с плотной трансформерной моделью примерно на 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Модель предназначена для диалоговых помощников и выполнения инструкций в локальной или облачной инфраструктуре, включая защищённые корпоративные среды. Заявлены рассуждения, программирование, автоматизация рабочих процессов и анализ больших структурированных и неструктурированных текстовых документов; в метаданных также отмечен интерфейс для вызова инструментов. Карточка заявляет поддержку английского и арабского языков. Модель распространяется по проприетарной лицензии: личное и исследовательское использование допускается на частном сервере или локальной инфраструктуре. Коммерческое применение требует отдельной лицензии XCurOS; перераспространение и перепродажа без письменного разрешения запрещены. Качество заявленных возможностей и пригодность для конкретных задач в карточке не подкреплены результатами оценки.

NousResearch/Yarn-Mistral-7b-128k — языковая модель NousResearch на архитектуре Mistral-7B, дополнительно предобученная на данных с длинным контекстом в течение 1500 шагов с применением метода YaRN. Модель предназначена для генерации текста и обработки длинных входных последовательностей, например анализа объёмных документов и поиска ответов в них. В карточке заявлено окно контекста до 128 тысяч токенов. По метаданным, модель содержит 7,1 млрд параметров и распространяется в формате PyTorch для Transformers; базовая модель — Mistral-7B-v0.1. В README приведены результаты тестов длинного контекста и стандартных языковых бенчмарков, где качество на коротком контексте немного ниже, чем у исходной Mistral-7B-v0.1. Указанная лицензия — Apache-2.0. Для загрузки README рекомендует использовать актуальную версию Transformers и параметр trust_remote_code=True.

BigQwen2.5-125B-Instruct-GGUF — это квантизированная GGUF-версия инструкционной языковой модели BigQwen2.5-125B-Instruct, разработанной mlabonne. Квантизацию выполнил bartowski с использованием llama.cpp и imatrix; модель предназначена для генерации текста и диалогового взаимодействия, включая локальный запуск через llama.cpp и LM Studio. В README указан английский язык. Модель имеет заявленный размер 125 миллиардов параметров и доступна в нескольких вариантах квантизации от Q8_0 до IQ1_M. Более качественные варианты Q6_K, Q5_K_M и Q4_K_M рекомендованы автором, тогда как низкобитные варианты требуют меньше памяти, но заметно уступают по качеству. Размер файлов составляет примерно от 40,59 до 133,22 ГБ, поэтому для запуска необходима система с большим объёмом оперативной или видеопамяти. Модель поддерживает специальный формат промптов Qwen с ролями system, user и assistant. Архитектура, размер контекста и мультимодальные возможности в README не указаны; по представленным данным это текстовая модель без подтверждённой поддержки изображений или других модальностей. Лицензия обозначена как other с названием tongyi-qianwen и ссылкой на лицензию Qwen2-72B-Instruct.

BlueLM-7B-Chat-32K — диалоговая языковая модель с архитектурой BlueLMForCausalLM, разработанная лабораторией vivo AI. Модель содержит 6,9 млрд параметров и предназначена для генерации ответов в чате, понимания длинных текстов и решения языковых задач. В репозитории представлены веса PyTorch. Модель обучена на корпусе объёмом 2,6 трлн токенов, преимущественно на китайском и английском языках, с небольшим количеством японских и корейских данных. В README заявлена поддержка контекста до 32K токенов и приведены результаты на LongBench, включая задачи суммаризации, ответов по одному и нескольким документам и работы с кодом. Однако метаданные указывают native_context_tokens 2048, поэтому заявленную длину контекста следует сверить с конфигурацией конкретной версии. Лицензия указана как other; README сообщает, что веса открыты для академических исследований и коммерческого применения.

Это GGUF-квантизированная версия модели DeepSeek-R1-Distill-Qwen-14B, разработанной deepseek-ai. Квантизацию выполнил bartowski на основе llama.cpp release b4514; модель распространяется в рамках программы Community Model от LM Studio, которое не является её создателем или владельцем. Модель предназначена для генерации текста с акцентом на рассуждения и задачи, требующие пошагового анализа. Она дистиллирована из reasoning-модели DeepSeek-R1 и настроена для работы с chain-of-thought. Формат GGUF ориентирован на запуск через совместимое программное обеспечение, включая llama.cpp и LM Studio. Заявленная длина контекста составляет 128k токенов. В README не указаны точный вариант архитектуры Qwen, поддерживаемые языки, конкретные модальности, параметры выбранного уровня квантизации или результаты бенчмарков. Лицензия также не указана, поэтому условия использования следует уточнять в документации исходной модели и конкретного файла GGUF. Как и другие языковые модели, она может генерировать неточные, вредные или вводящие в заблуждение ответы.

puwaer/DeepSeek-V4-Flash-0731-reap-200b-gguf — это GGUF-сборка модели puwaer DeepSeek-V4-Flash-0731-reap-200b, подготовленная для запуска через llama.cpp. Модель предназначена для генерации текста, диалоговых сценариев, рассуждений и задач с вызовом инструментов; встроенный шаблон чата поддерживает режим рассуждений и tool calling в OpenAI-совместимом формате. Это разреженная Mixture-of-Experts-модель с 178 маршрутизируемыми экспертами на слой вместо 256 у базовой версии. Сборка доступна в вариантах MXFP4_MOE, Q3_K_M, IQ3_XXS, Q2_K и IQ1_M размером примерно от 56,36 до 103,85 GiB. Вариант MXFP4_MOE численно идентичен исходному safetensors-чекпойнту, а остальные варианты являются повторной квантизацией уже 4-битных данных и могут заметнее снижать качество. В README подтверждён контекст 4096 токенов для примера запуска; поддерживаемые языки и точный максимальный контекст не указаны. Сильные стороны модели — существенно меньший размер по сравнению с базовой версией на 284B параметров, сохранение высокой точности на ряде тестов и поддержка рассуждений и инструментов. Бенчмарки квантованных вариантов отдельно не проводились, поэтому их качество не измерено. Для запуска рекомендуется полный GPU-offload; самая крупная сборка занимает 103,85 GiB и не помещается на одной видеокарте с 96 GiB памяти. Частичный offload и распределённый запуск не были проверены. Модель распространяется по лицензии MIT.

dots.ocr-GGUF — это GGUF-версия мультиязычной vision-language модели dots.ocr, разработанной rednote-hilab и опубликованной пользователем prithivMLmods на основе dots-studio/dots.ocr. Модель предназначена для анализа изображений документов и объединяет обнаружение структуры документа с распознаванием содержимого в одной модели. Она подходит для научных статей, книг, презентаций, финансовых отчётов, экзаменационных работ, журналов и газет. Модель построена на компактной языковой основе объёмом 1,7 млрд параметров, связанной с Qwen2.5-VL, и поддерживает более 100 языков, включая английский и китайский. Она может выполнять полный разбор макета, обнаружение элементов, OCR и grounding OCR в зависимости от запроса. Результат выдаётся в структурированном JSON с ограничивающими рамками и категориями элементов, а текст оформляется в Markdown, формулы — в LaTeX, таблицы — в HTML. Доступны варианты GGUF с точностями от Q3_K до Q8_0, а также BF16 и F16; для работы с изображениями требуются отдельные файлы mmproj. К сильным сторонам относятся единый подход к анализу макета и содержимого, высокие результаты на OmniDocBench для распознавания текста, таблиц и порядка чтения, а также качество распознавания формул, сопоставимое с гораздо более крупными моделями. Ограничения включают зависимость качества и требований к ресурсам от выбранного варианта квантизации, необходимость мультимодального проектора и отсутствие в README сведений о точном размере контекста и системных требованиях. Модель распространяется по лицензии MIT и поддерживает запуск через llama.cpp; также заявлена совместимость с Transformers и vLLM, для которого рекомендуется версия 0.9.1.

FuseChat-7B-VaRM — диалоговая языковая модель, разработанная Fanqi Wan и коллегами из Университета Сунь Ятсена. Она объединяет знания трёх чат-моделей: NH2-Mixtral-8x7B, NH2-Solar-10.7B и OpenChat-3.5-7B. В каталоге Hugging Face указаны архитектура Mistral с плотной моделью MistralForCausalLM и 7,1 млрд параметров; для инференса используется библиотека Transformers. Модель предназначена для генерации ответов в диалоге и выполнения общих текстовых инструкций, включая написание текстов, ролевые сценарии, рассуждения, математику и программирование. В README сообщается о среднем результате 8,22 на MT-Bench. Модель принимает текст и генерирует текст; заявленный контекст — 8192 токена, язык карточки — английский. Модель опубликована в форматах PyTorch и Safetensors и распространяется по лицензии Apache-2.0. Как и другие языковые модели, она может давать ошибочные или непроверенные ответы; в предоставленных материалах отдельные дополнительные ограничения не описаны.

General-Reasoner-Qwen3-14B — языковая модель TIGER-Lab, дообученная на базе Qwen/Qwen3-14B-Base для развития рассуждений в широком круге областей. Она предназначена для ответов на вопросы и решения задач, требующих анализа, включая математику, программирование, физику, химию, финансы и гуманитарные дисциплины. Для обучения использованы более 230 тысяч проверяемых вопросов из веб-источников и модельный верификатор; README описывает подход как обучение без промежуточного этапа supervised fine-tuning. Модель имеет плотную архитектуру Qwen3ForCausalLM, 14 млрд параметров и контекст до 32 768 токенов; репозиторий содержит веса в формате safetensors. Поддерживаются чат и интерфейс вызова инструментов. Лицензия — Apache-2.0. Карточка сообщает о результатах на разнообразных бенчмарках рассуждений, но не приводит здесь подробных численных оценок.

Это GGUF-квантизированная instruction-модель gemma-4-31B-it, разработанная Google и подготовленная в вариантах квантизации bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для диалоговых и генеративных задач и может запускаться локально через llama.cpp, Ramalama, LM Studio, KoboldCpp, Jan AI, Text Generation Web UI и другие совместимые инструменты. В README также указан pipeline image-text-to-text, однако подробности о поддерживаемых визуальных входах не приведены. Модель содержит 31 млрд параметров; доступны варианты от BF16 до различных уровней 8-, 6-, 5-, 4- и 3-битной квантизации. Размер файлов составляет примерно от 13,84 до 61,41 ГБ. Высокоточные варианты обеспечивают лучшее сохранение качества, а более компактные подходят для систем с ограниченной оперативной памятью, но могут заметно уступать по качеству. Для некоторых форматов заявлена оптимизация под CPU ARM и Apple Silicon. Используется специальный шаблон диалога с ролями system, user и model; для недавно поддерживаемых моделей может потребоваться обновление программного обеспечения. Модель распространяется по лицензии Apache-2.0 с дополнительными условиями Gemma; точные требования следует проверять в документации Google. README не содержит данных о длине контекста, списке языков, конкретных бенчмарках и системных требованиях, поэтому эти характеристики нельзя достоверно оценить.

GPT-5.6 Sol Pro — вариант модели GPT-5.6 Sol, разработанный OpenAI и предоставляемый с режимом рассуждений `pro`. Он предназначен для получения более качественных ответов на сложные задачи. Карточка не приводит сведений об архитектуре, размере, модальностях, языках, длине контекста или лицензии, поэтому эти характеристики здесь не описываются.

Snowball GLM 5.3 RLVR SFT — диалоговая MoE-модель семейства Grug, разработанная open-athena. Это дообученный чекпойнт open-athena/Grug-67B-A2B-Datakit-SFT-262K-2026.09.21: модель обучали с учётом только ответов ассистента на 5 000 диалогах GLM 5.3 RLVR, используя последовательности длиной 32 768 токенов и 136 шагов оптимизации. Модель предназначена для генерации текста в диалоге, рассуждений и сценариев с вызовом инструментов. Она поддерживает контекст до 262 144 токенов и имеет 2,8 млрд параметров; формат весов — safetensors. Лицензия — OpenMDW 1.1, унаследованная от базовой модели.

Hermes-3-Llama-3.1-8B-IMat-GGUF — квантизированная версия текстовой генеративной модели NousResearch/Hermes-3-Llama-3.1-8B, подготовленная legraphista в формате GGUF для llama.cpp. В основе лежит модель семейства Llama 3.1 с 8 млрд параметров; исходный тип данных — BF16. Указан английский язык, а назначение модели — генерация текста и диалоговое взаимодействие. Модель предназначена для чат-сценариев, следования инструкциям, ролевого общения, работы с ChatML, генерации структурированных ответов в JSON и function calling. Доступны варианты с разной степенью квантизации — от BF16 и FP16 до 1–8-битных форматов; часть низкобитных вариантов использует IMatrix для снижения потерь качества при уменьшении размера. Это позволяет запускать модель на более ограниченных по памяти системах, выбирая компромисс между качеством, скоростью и требованиями к ресурсам. В README не указаны размер контекстного окна, мультимодальные возможности, результаты бенчмарков и подробные ограничения качества, поэтому модель следует считать текстовой и ориентированной прежде всего на английский язык. Квантизация может приводить к снижению точности по сравнению с исходной BF16-моделью, особенно в наиболее компактных вариантах. Лицензия указана как Llama 3; условия её применения следует уточнять в лицензии исходной модели.

Infinity-Instruct-7M-Gen-Llama3_1-8B-GGUF — квантизированная версия текстовой генеративной модели Infinity-Instruct-7M-Gen-Llama3_1-8B, разработанной BAAI и преобразованной в формат GGUF компанией Second State Inc. Модель предназначена для диалоговых сценариев, генерации текста и использования инструментов; в README также указана совместимость с LlamaEdge. Поддерживается английский язык, модальность — текстовая. Модель основана на Llama 3.1 с размером 8B параметров и поддерживает контекст до 128 000 токенов. Доступны варианты квантизации от 2 до 8 бит, а также f16, с размером файлов примерно от 3,18 до 16,1 ГБ. Вариант Q4_K_M обозначен как сбалансированный по качеству и размеру, а Q5_K_M и Q5_K_S — как варианты с очень небольшими потерями качества. Более агрессивная квантизация уменьшает требования к ресурсам, но может существенно ухудшать качество ответов. Лицензия указана как llama3.1. Для работы требуется совместимое программное обеспечение, например LlamaEdge версии 0.14.0 или выше, с шаблоном запросов llama-3-chat; README также описывает режим использования инструментов.

InternVL2_5-78B — мультимодальная модель серии InternVL 2.5, разработанная командой OpenGVLab. Она сочетает зрительный энкодер InternViT и языковую модель Qwen2.5-72B-Instruct в архитектуре ViT-MLP-LLM; компоненты объединены с помощью обучаемого MLP-проектора. Репозиторий использует формат safetensors и библиотеку Transformers. Модель предназначена для диалога по изображениям, анализа нескольких изображений и видеокадров, а также для текстовой генерации. Динамическое разбиение изображений на тайлы 448×448 помогает работать с изображениями высокого разрешения; поддерживаются многоязычные сценарии, включая OCR и анализ математических диаграмм. В обучении использовано 120 млрд токенов. Длина контекста в доступных сведениях не приводится. Модель подходит для визуальных вопросов и ответов, описания изображений и видео, распознавания текста на изображениях и диалоговой генерации. Её размер 78 млрд параметров требует значительных вычислительных ресурсов; обработка нескольких изображений увеличивает расход контекста. В метаданных указана лицензия other, поэтому конкретные условия использования следует сверять с лицензией в репозитории.

Jan-v1-AIO-GGUF — набор GGUF-квантованных версий моделей семейства Jan-v1, опубликованный prithivMLmods. В состав входят Jan-v1-2509, Jan-v1-edge и Jan-v1-4B, предназначенные для локального запуска через совместимые inference-движки, интеграции с приложением Jan, автономной работы и повышения приватности. Модели ориентированы на генерацию текста, агентское рассуждение, решение задач, использование инструментов, ответы на фактические вопросы и сценарии с веб-поиском. Jan-v1-4B — языковая модель на 4 млрд параметров, построенная на архитектуре Qwen3-4B-thinking и поддерживающая контекст до 256 000 токенов. Для неё заявлена точность 91,1% на бенчмарке SimpleQA. Jan-v1-edge — облегчённая модель для быстрой работы на устройствах с ограниченными ресурсами; она дистиллирована из более крупной Jan-v1 и дообучалась в два этапа: supervised fine-tuning и reinforcement learning with verifiable rewards. В README точные размеры Jan-v1-2509 и Jan-v1-edge, а также сведения о мультимодальности не указаны. Поддерживается английский язык. Доступны варианты с разными типами квантования — от Q2_K до Q8_0, а также BF16, F16 и F32, что позволяет выбирать между размером файлов, требованиями к памяти и потенциальным качеством. Размеры файлов варьируются примерно от 778 МБ до 16,1 ГБ в зависимости от модели и формата. Ограничения включают зависимость производительности от выбранного квантования и оборудования, а также отсутствие в README подробных результатов для всех вариантов. Модели распространяются по лицензии Apache-2.0.

Dingdust/LFM2.5-2.6B-heretic — текстовая разговорная модель на архитектуре LFM2, созданная как производная LiquidAI/LFM2.5-2.6B-Base. В карточке указано, что abliteration снизила частоту отказов с 97 до 3 случаев на 100 запросов при KL-дивергенции 0,0133 относительно исходной модели. Модель содержит 2,6 млрд параметров, имеет 30 слоёв и контекстное окно 131 072 токена; поддерживает чат и вызов инструментов. Модель предназначена для локального запуска на устройствах и для агентных сценариев: использования инструментов, извлечения данных, RAG и работы с длинным контекстом. Поддерживаемые языки включают английский, русский, арабский, китайский, французский, немецкий, хинди, индонезийский, итальянский, японский, корейский, польский, португальский, испанский, тайский и вьетнамский. Она не рекомендуется для агентного программирования и задач, требующих обширных знаний. Лицензия указана как other, конкретные условия в предоставленных данных не приведены.

Llama-3_1-Nemotron-51B-Instruct-GGUF — это GGUF-квантизированная версия инструкционной языковой модели Llama-3_1-Nemotron-51B-Instruct, разработанной NVIDIA и подготовленной для распространения пользователем bartowski. Модель предназначена для генерации текста и диалоговых сценариев, включая запуск локально через llama.cpp и LM Studio. Указан английский язык. Модель имеет 51 млрд параметров и доступна в форматах от F16 до различных вариантов 3-, 4-, 5-, 6- и 8-битного квантования. Размер файлов варьируется примерно от 23,49 до 103,01 ГБ. Квантизация выполнена с использованием imatrix; в карточке также отмечено исправление RoPE. Для работы следует использовать указанный шаблон инструкций с системным, пользовательским и ассистентским сообщениями. Контекст модели, архитектурные детали исходной версии и дополнительные модальности в README не указаны; по имеющимся данным это текстовая модель. Сильными сторонами являются широкий выбор вариантов квантования, возможность подобрать баланс между качеством и требованиями к памяти, а также поддержка llama.cpp и LM Studio. Более компактные варианты экономят память, но могут уступать полноразмерной версии по качеству. Для использования применяются условия NVIDIA Open Model License; конкретные ограничения следует проверять в тексте лицензии по указанной ссылке.

Llama-3-8B-Instruct-Gradient-1048k — дообученная Gradient версия Meta Llama 3 8B Instruct для диалогов и генерации текста с длинным контекстом. Модель имеет плотную архитектуру LlamaForCausalLM и около 7,5 млрд параметров; заявленное окно контекста — 1 048 576 токенов, расширенное с 8 тысяч токенов настройкой параметра RoPE theta. Для этого этапа обучения использовано 830 млн токенов, а суммарно для всех этапов — 1,4 млрд токенов. Модель подходит для диалоговых ассистентов и задач, где нужно учитывать большие объёмы текста за один запрос, например при анализе длинных документов. В карточке заявлена поддержка английского языка; доступны веса в формате safetensors и чат-возможности. Для запуска автор рекомендует Transformers или TGI. Модель выпущена Gradient по лицензии Llama 3. Как и другие инструктивные LLM, она может давать ошибки и небезопасные ответы; для прикладного развёртывания следует оценивать качество на своих данных и при необходимости добавлять меры защиты.

QuantFactory/Llama-3-Open-Ko-8B-GGUF — квантованная версия модели Llama-3-Open-Ko-8B, созданная с использованием llama.cpp. Базовую модель разработал Junbum Lee (Beomi) на основе Meta Llama 3; она представляет собой продолжительно предобученную авторегрессионную языковую модель с оптимизированной архитектурой Transformer. Модель предназначена для генерации текста и кода, а также для адаптации под различные задачи обработки естественного языка, включая дообучение специализированных и диалоговых моделей. Она принимает только текст и генерирует текст или код. Модель ориентирована прежде всего на английский и корейский языки; для обучения использовались более 17,7 млрд токенов и свыше 60 ГБ дедуплицированных общедоступных текстов. Размер модели — 8B параметров, контекст — до 8 тысяч токенов, поддерживается Grouped-Query Attention (GQA), дата отсечения знаний — июнь 2023 года. К сильным сторонам относятся адаптация Llama 3 к корейскому языку, открытые данные обучения и доступность в квантованном формате, потенциально снижающем требования к ресурсам при локальном запуске. Ограничения заключаются в том, что это статическая офлайн-модель без встроенного обновления знаний и базовая предобученная версия, а не готовая instruction-tuned модель; для диалоговых сценариев и соблюдения требований безопасности может потребоваться дополнительное дообучение и внешние защитные механизмы. Использование регулируется лицензией Llama 3 и соответствующей Acceptable Use Policy; необходимо соблюдать их ограничения и применимое законодательство.

LongCat-Flash-Thinking-2601 — разработанная Meituan большая языковая модель для рассуждений и агентных сценариев. В карточке описана обновлённая версия семейства LongCat-Flash-Thinking с архитектурой Mixture-of-Experts и 560 млрд общих параметров; метаданные Hugging Face указывают 17,7 млрд параметров. Модель обучали на многошаговом использовании инструментов и поиске, включая подкрепляющее обучение в разнообразных средах с шумом. Модель предназначена для диалогов, сложных рассуждений, вызова инструментов, агентного поиска и задач, где нужно координировать несколько инструментов. Шаблон чата поддерживает чередование рассуждений и вызовов инструментов, а режим Heavy Thinking предназначен для особенно трудных задач. Метаданные указывают контекст до 983 040 токенов и формат safetensors. Модель принимает текст и генерирует текст, в том числе ответы в диалоге и структурированные вызовы инструментов. Карточка отмечает сильные результаты на агентных задачах и обобщение на новых сценариях, однако модель не оценивалась полноценно для всех прикладных задач. Лицензия — MIT.

Luciole-23B-Instruct-1.1 — инструктивная чат-модель, созданная LINAGORA и консорциумом OpenLLM-France в рамках проекта OpenLLM France. Это дообученная и выровненная версия Luciole-23B-Base: обучение включало supervised fine-tuning на инструкциях и финальное выравнивание предпочтений методом DPO. Модель построена на плотной архитектуре Nemotron и содержит 31,5 млрд параметров; метаданные указывают контекст до 131 072 токенов, хотя при постобучении использовались последовательности длиной 16 384 токена. Модель предназначена для диалогов и выполнения инструкций на французском и английском языках, включая вопросы по общим темам, RAG-сценарии, перевод, математику, науку и программирование. Она особенно хорошо показала себя в тестах на следование инструкциям; французские результаты примечательны, несмотря на то что постобучение проводилось преимущественно на английских данных. Это первая версия постобучения семейства Luciole, и разработка продолжается. Перед применением в производственных системах модель следует проверить на целевых задачах: она может галлюцинировать, а для специализированной генерации кода и решения математических задач потребуется дополнительное обучение. Разработчики также отмечают ограниченный объём запоминаемых фактов и рекомендуют использовать RAG; контекст, задействованный при постобучении, короче заявленного контекста базовой модели. Лицензия — Apache 2.0.

Meta-Llama-3.1-8B-Instruct-abliterated-IMat-GGUF — это GGUF-сборка инструкционной языковой модели mlabonne/Meta-Llama-3.1-8B-Instruct-abliterated, подготовленная и квантованная пользователем legraphista с помощью llama.cpp. Модель предназначена для генерации текста и диалогового использования в локальных приложениях, поддерживающих формат GGUF и llama.cpp. Доступны варианты от BF16 и FP16 до квантований Q8_0, Q6_K, Q5_K, Q4_K, Q3_K, Q2_K и IQ4. Для ряда вариантов применена IMatrix-квантизация, призванная сохранить качество при уменьшении размера модели. Размер базовой модели составляет 8B параметров, исходный тип данных — BF16. В README не указаны точный размер контекста, перечень поддерживаемых языков и мультимодальные возможности; по представленным данным это текстовая модель без заявленной поддержки изображений или других модальностей. Сильными сторонами сборки являются широкий выбор уровней квантования, возможность локального запуска и наличие вариантов, оптимизированных по соотношению качества и потребления памяти. Ограничения включают потенциальную потерю качества в низкобитных вариантах, зависимость производительности от оборудования и совместимость с llama.cpp или другим ПО, поддерживающим GGUF. Основа модели обозначена как abliterated и uncensored, поэтому встроенные ограничения безопасности могут быть ослаблены; это следует учитывать при использовании. Указанная лицензия — Llama 3.1.

cloudyu/Meta-Llama-3-70B-Instruct-DPO — чат-модель на архитектуре Llama, созданная на основе meta-llama/Meta-Llama-3-70B-Instruct с применением DPO-дообучения по jondurbin/truthy-dpo-v0.1. Она предназначена для генерации ответов в диалоге и других текстовых сценариев с инструкциями. Модель содержит 69,5 млрд параметров, принимает текст и имеет контекст длиной до 8192 токенов. Веса доступны в формате safetensors. Лицензия — Apache-2.0.

Nhoodie/Meta-Llama-3-8B-Uninstruct-function-calling-json-mode-model_stock-v0.1 — объединённая модель на базе семейства Meta Llama 3, созданная с помощью LazyMergekit из hiieu/Meta-Llama-3-8B-Instruct-function-calling-json-mode, NousResearch/Meta-Llama-3-8B и NousResearch/Meta-Llama-3-8B-Instruct. Это плотная авторегрессионная языковая модель архитектуры LlamaForCausalLM примерно с 7,5 млрд параметров и контекстом до 8192 токенов. Модель предназначена для генерации текста и диалогов; в её составе есть вариант, настроенный на вызов функций и выдачу JSON, поэтому она может применяться в сценариях, где ответы должны следовать структурированному формату. Репозиторий содержит веса safetensors. В метаданных указана лицензия other; конкретные условия следует проверять в файлах репозитория и у базовых моделей.