I.1Поиск и навигация по информации

RedHatAI/Meta-Llama-3.1-8B-FP8 — квантизированная версия базовой текстовой модели Meta-Llama-3.1-8B, разработанная Neural Magic. Модель принимает текст и генерирует текст, предназначена для коммерческого и исследовательского использования, включая многоязычные сценарии. В README указаны английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки, однако отдельно отмечено ограничение на использование в языках, отличных от английского. Модель использует архитектуру Meta-Llama-3.1 и формат FP8 для квантизации весов и активаций линейных операторов в трансформерных блоках. Применяется симметричная поканальная для всего тензора квантизация с фиксированным масштабированием; выходной слой lm_head не квантизируется. Размер модели — 8 миллиардов параметров. Оптимизация уменьшает число бит на параметр с 16 до 8, а также примерно на 50% сокращает требования к дисковому пространству и памяти GPU. Модель подготовлена для инференса с vLLM. К сильным сторонам относятся снижение требований к памяти и более эффективное развертывание при сохранении характеристик исходной модели: средний результат на OpenLLM benchmark v1 составил 65,90 против 66,47 у неквантизированной версии. К ограничениям относятся возможная потеря качества из-за квантизации, отсутствие заявленной информации о размере контекста и необходимость совместимого окружения vLLM. Модель распространяется по лицензии llama3.1.

ibnzterrell/Meta-Llama-3.3-70B-Instruct-AWQ-INT4 — это 4-битная AWQ-квантизированная версия Meta-Llama-3.3-70B-Instruct, первоначально выпущенной Meta AI и опубликованной в данном варианте пользователем ibnzterrell. Модель представляет собой крупную instruction-tuned языковую модель с текстовым вводом и выводом, предназначенную для генерации текста и многоязычного диалога. Модель подходит для чат-ассистентов, ответов на вопросы и других сценариев текстовой генерации на английском, французском, итальянском, португальском, хинди, испанском, тайском и немецком языках. Исходная модель имеет размер 70B параметров; доступный вариант использует INT4-квантизацию AWQ с GEMM-ядрами, zero-point quantization и размером группы 128. Для загрузки контрольной точки требуется около 35 ГиБ VRAM без учёта KV-кэша и CUDA Graphs, поэтому необходим некоторый дополнительный запас видеопамяти. Поддерживаются Transformers, AutoAWQ, Text Generation Inference и vLLM. К основным преимуществам относятся значительно сниженные требования к памяти по сравнению с полноточной версией и возможность запуска большой многоязычной instruction-tuned модели на совместимом оборудовании. Ограничения связаны с потерями качества, возможными при 4-битной квантизации, высокой потребностью в ресурсах и тем, что README не содержит сведений о длине контекста. Модель распространяется по лицензии Llama 3.3.

RedHatAI/Mistral-7B-Instruct-v0.3-FP8 — квантизированная версия текстовой instruction-модели Mistral-7B-Instruct-v0.3, разработанная Neural Magic. Модель принимает текст и генерирует текст, предназначена прежде всего для англоязычного ассистентского диалога, включая чат-ботов и исследовательские или коммерческие приложения. Дата выпуска — 26 июня 2024 года, версия 1.0. Модель использует архитектуру Mistral-7B-Instruct-v0.3 и квантизацию весов и активаций в формат FP8. Квантизации подвергнуты линейные операторы внутри transformer-блоков с применением симметричного масштабирования по тензору. Это примерно вдвое уменьшает число битов на параметр, размер модели на диске и требования к памяти GPU по сравнению с 16-битным представлением. Модель подготовлена для инференса через vLLM версии 0.5.0 и новее; в README также указан контекст длиной 4096 токенов для процедуры оценки и примеров использования. По данным OpenLLM Leaderboard v1, средний результат FP8-версии составляет 65,85 против 66,33 у неквантизированной модели, что указывает на небольшую потерю качества при заметном снижении требований к ресурсам. Ограничения включают ориентацию на английский язык: использование на других языках указано как выходящее за заявленную область применения. Условия лицензии — Apache 2.0; использование должно соответствовать применимым законам и нормативным требованиям.

gghfez/Mistral-Small-3.2-24B-Instruct-hf — преобразованная в формат Hugging Face версия Mistral-Small-3.2-24B-Instruct-2506. Это плотная авторегрессионная модель семейства Mistral с архитектурой MistralForCausalLM и 23,4 млрд параметров, предназначенная для генерации текста и диалогов по инструкциям. Модель принимает текст и выдаёт текст; контекст — до 32 768 токенов. В карточке указано, что эта версия не мультимодальная. Модель может применяться для диалоговых ассистентов, ответов на вопросы и генерации текста. Она распространяется по лицензии Apache-2.0. README описывает преобразование базовой модели в формат Hugging Face, а не отдельное дообучение.

Mistral-Small-Instruct-2409 — инструкционная плотная языковая модель на 22 млрд параметров, опубликованная Unsloth как дообученная версия Mistral-Small-Instruct-2409 от Mistral AI. Она предназначена для диалогов, следования инструкциям, генерации текста и вызова функций в приложениях на базе языковых моделей. Модель принимает текст и формирует текстовые ответы; поддерживает контекст до 131 072 токенов и интерфейс вызова функций. Для запуска README рекомендует vLLM и mistral-inference; для работы на одном GPU указано требование не менее 44 ГБ видеопамяти. В метаданных лицензия обозначена как other, поэтому перед использованием следует проверить условия на странице модели.

ihughes15234/Phi-3.5-mini-instruct_unslothcpy — разговорная инструктивная версия компактной языковой модели семейства Phi-3.5, представленная в карточке с материалами Unsloth по тонкой настройке. Модель содержит 3,7 млрд параметров, использует плотную архитектуру и предназначена для генерации текста и многоходового диалога. Метаданные указывают контекст 4096 токенов; заявленные в README 128K относятся к Phi-3.5-mini в целом и не подтверждены для этой конкретной копии. Модель подходит для генерации ответов и создания приложений на базе языковой модели в условиях ограниченных вычислительных ресурсов и требований к задержке. В README базовая Phi-3.5 описана как многоязычная модель с сильными сторонами в рассуждениях, коде, математике, логике, обобщении длинных документов и ответах на вопросы по ним; эти характеристики не являются отдельной оценкой данного репозитория. Указана лицензия MIT. Как и другие языковые модели, она может ошибаться; перед применением в рискованных сценариях следует проверять точность и безопасность ответов.

ProCreations_grug-27b-v1.1-GGUF — это квантизированная версия модели grug-27b-v1.1, разработанной ProCreations и подготовленной в формате GGUF пользователем bartowski с использованием llama.cpp. Модель содержит 27 миллиардов параметров и предназначена для задач рассуждения, агентских сценариев, использования инструментов и эффективной генерации текста. Модель поддерживает английский язык и текстовый ввод, а также обработку изображений при использовании дополнительного файла mmproj. Она выпускается в нескольких вариантах квантизации от BF16 до низкобитных Q3 и IQ3, что позволяет выбирать между качеством, требованиями к памяти и скоростью работы. Рекомендуемым универсальным вариантом указан Q4_K_M размером 17,53 ГБ, а версии Q5 и Q6 обеспечивают более высокое качество при больших требованиях к ресурсам. К сильным сторонам относятся крупный размер, поддержка мультимодального ввода, режимы, ориентированные на рассуждение и tool use, а также наличие imatrix-квантизаций для более эффективного хранения. Архитектура, размер контекстного окна и подробные показатели качества в README не указаны; perplexity и KLD не измерялись. Спекулятивное декодирование не поддерживается. Модель распространяется по лицензии Apache-2.0.

amd/Qwen3.5-397B-A17B-MXFP4 — мультимодальная генеративная модель семейства Qwen, представленная AMD на основе Qwen/Qwen3.5-397B-A17B-FP8. Она предназначена для задач условной генерации текста с обработкой текста, изображений и видео на входе и генерацией текста на выходе. В README указан английский язык. Модель использует архитектуру Qwen3_5MoeForConditionalGeneration и оптимизирована для инференса на AMD MI300, MI350 и MI355 под Linux с ROCm 7.0.0, PyTorch 2.9.1 и Transformers 5.3.0. Для запуска рекомендуются SGLang или vLLM. Экспериментальная конфигурация оценки использовала максимальную длину контекста 262144 токена и распределение по четырём GPU, однако это не подтверждает полный нативный размер контекста модели. Ключевая особенность версии — статическое квантование весов экспертов языковой части и динамическое квантование активаций в формат OCP MXFP4 с помощью AMD-Quark 0.12; визуальные и некоторые другие слои исключены из квантования. На GSM8K модель получила 94,54 против 95,38 у исходной FP8-версии, сохранив 99,12% относительного результата. Ограничения включают зависимость от совместимого оборудования и программного стека AMD, а также ограниченность опубликованной оценки одним бенчмарком. Лицензия — Apache-2.0; для модификаций указаны авторские права Advanced Micro Devices, Inc. за 2026 год.

amd/Qwen3.5-397B-A17B-NVFP4 — это мультимодальная модель условной генерации Qwen3_5MoeForConditionalGeneration, созданная на основе Qwen/Qwen3.5-397B-A17B и подготовленная Advanced Micro Devices, Inc. Модель принимает текст, изображения и видео, а генерирует текст. В карточке указана поддержка английского языка. Обозначение модели содержит 397B-A17B, однако точное описание числа параметров и конфигурации смеси экспертов в README не приведено. Модель предназначена для задач генерации и анализа текста, а также обработки мультимодальных входных данных. Она оптимизирована для инференса через vLLM на системах AMD MI300, MI350 и MI355 с ROCm 7.2.2, PyTorch 2.10.0 и Transformers 5.14.0 под Linux. Для развертывания используется статическое квантование весов и динамическое квантование активаций MOE-слоёв в формате NVFP4; оптимизация выполнена с помощью AMD-Quark 0.12. К сильным сторонам относятся существенное снижение требований к памяти за счёт NVFP4-квантования, поддержка текста, изображений и видео, а также совместимость с vLLM. В тесте GSM8K модель получила 94,47 против 95,38 у исходной модели, что соответствует восстановлению 99,04% результата исходной версии. Ограничения включают ориентацию на определённое AMD-оборудование и программный стек, а также ограниченную опубликованную оценку: в README приведены результаты только GSM8K. Модель распространяется по лицензии Apache 2.0; модификации защищены авторским правом Advanced Micro Devices, Inc. за 2026 год.

Qwen3.5-4B-text-only — текстовая версия модели семейства Qwen3.5, опубликованная principled-intelligence. Это плотная авторегрессионная модель с 3,4 млрд параметров для генерации текста и диалогов. В чекпойнте удалены веса визуального энкодера; модель принимает текст и предназначена для сценариев, где обработка изображений не нужна. Контекстное окно составляет 262 144 токена. По описанию авторов, текстовое поведение, токенизатор и шаблон чата соответствуют исходной Qwen3.5-4B, а сокращённый чекпойнт требует меньше места и видеопамяти. Для загрузки авторы указывают Transformers версии 5.2.0 или новее. Другие движки инференса, включая vLLM, SGLang, llama.cpp и Ollama, не поддерживаются в карточке. Модель распространяется по лицензии Apache-2.0.

YFC-112358 создал двухэтапную композиционную модель на основе Qwen3.6-27B. На первом этапе с помощью DELLA объединены модели разных происхождений, а на втором к полученному результату линейно добавлено приращение весов Qwopus3.6-27B-Fusion относительно общего предка Qwen/Qwen3.6-27B. Это плотная мультимодальная архитектура семейства Qwen3.5 с интерфейсом чата и вызова инструментов; в репозитории веса представлены в safetensors, а модель использует библиотеку Transformers. Модель предназначена для диалоговой генерации текста и может использоваться для программирования, агентных сценариев и работы с изображениями — такие возможности указаны для базовой Qwen3.6-27B. В README описаны способ слияния и рекомендации по сэмплированию, но нет отдельных результатов оценки качества именно этой версии. Лицензия — Apache-2.0.

trymirai/Qwen3.6-27B-L — квантизированная версия языковой модели Qwen3.6-27B, подготовленная Mirai Labs для эффективного локального вывода на компьютерах Apple с Apple silicon. Модель предназначена для генерации текста и локальных сценариев использования большой языковой модели, включая задачи, поддерживаемые исходной Qwen3.6-27B. Точные сведения о назначении, языках и контекстном окне в этой карточке не приведены. Модель содержит 27 млрд параметров и использует посттренировочную 8-битную симметричную целочисленную квантизацию с масштабами bfloat16 и размером группы 64. Для уменьшения выбросов активаций и весов применяются блочно-диагональные Random Hadamard Transforms с размером блока 32. По размеру и уровню квантизации checkpoint сопоставим с Unsloth UD-Q8_K_XL в формате GGUF. Ключевые преимущества — сохранение качества при уменьшенном размере и ориентация на эффективный локальный запуск. Основное ограничение — на данный момент поддерживается только inference на Apple silicon; характеристики, оценки и ограничения исходной модели Qwen3.6-27B следует уточнять в её оригинальной карточке. Модель распространяется по лицензии Apache 2.0.

Rabbit-Hole-Ai/Qwen3.8-27B-5090-goldilocks-GGUF — это квантованная версия Qwen3.8-27B в формате GGUF, предназначенная для запуска через llama.cpp. Модель основана на Qwen/Qwen3.8-27B и оптимизирована для размещения на одной видеокарте NVIDIA RTX 5090 с 32 ГБ памяти под Windows 11. Основное назначение — генерация текста с большим контекстом, включая локальный инференс и сценарии, где важны высокая вместимость контекста и поддержка speculative decoding. Файл использует смешанную точность с эффективным показателем 7,36 bpw и занимает около 23 990 МиБ. В составе 866 тензоров применяются 339 тензоров Q8_0, 167 Q6_K и 360 F32; MTP-слой blk.64 сохранён для совместимости с режимом draft-mtp. Для текстовых задач заявлена поддержка контекста до 131 тыс. токенов, а при использовании vision projector — до 110 тыс. токенов. README приводит среднюю KL-дивергенцию относительно исходной BF16-модели 0,001800 для RTN-сборки и 0,001678 для imatrix-сборки. Сильная сторона модели — эффективное использование памяти RTX 5090 за счёт повышения точности квантования в пределах доступного объёма VRAM и сохранения качества, близкого к BF16-оригиналу. Указанная скорость генерации зависит от глубины контекста и конфигурации: для imatrix-файла приводятся значения 72,6 токена/с при глубине 8 тыс. и 64,0 токена/с при глубине 98 тыс. Ограничениями являются требовательность к видеопамяти, заметное падение скорости на длинном контексте и необходимость внимательно выбирать параметры KV-кэша и speculative decoding: сочетание квантованного KV-кэша с определёнными настройками спекулятивной генерации может резко ухудшить производительность. Лицензия — Apache-2.0.

Qwen3.8-27B-Uncensored-INT8-AutoRound — квантизированная версия модели orcarouter/Qwen3.8-27B-Uncensored, опубликованная пользователем berkerdooo. Она предназначена для запуска и обслуживания языковой или мультимодальной модели Qwen3.8 в условиях ограниченных ресурсов с использованием INT8-квантования весов. В карточке указана multimodal-конфигурация image-text-to-text, а также наличие vision tower, однако поддерживаемые языки и полный перечень мультимодальных возможностей не описаны. Модель имеет размер 27B параметров и использует смешанную точность W8A16: 263 линейных слоя, включая основные проекции self-attention и MLP, хранятся в симметричном INT8 с group size 128, а 354 линейных слоя, включая linear attention, эмбеддинги, выходную голову, нормализационные слои и vision tower, работают в BF16. Квантование выполнено с помощью AutoRound методом SignRound после калибровки на текстах и исходном коде. В README упоминается архитектура с 16 слоями full attention и 48 слоями linear attention/GDN. Для обслуживания проверена связка vLLM с GPTQ-Marlin и поддерживается MTP speculative decoding; в тестовой конфигурации указан максимальный контекст до 262144 токенов. Сильной стороной является небольшая потеря относительно BF16-источника: на указанном тесте согласие top-1 составило примерно 97,2–97,7%, а разница NLL была +0,0022. Ограничения включают зависимость от совместимого стека vLLM и аппаратного обеспечения, а также отсутствие в README результатов прикладных бенчмарков, точного описания языковой поддержки и детальной оценки качества vision-возможностей. Модель распространяется по лицензии Apache-2.0.

Baekpica/Qwen3.8-Flash-Next-Mixed-Quant-SSD-PLE-GGUF — производная квантованная версия модели Qwen3.8-Flash-Next, разработанная Baekpica на базе модели Qwen. Она распространяется в формате GGUF с mixed-quant квантованием и рассчитана на запуск с использованием SSD-PLE offload, в частности на системах DGX Spark. Модель относится к мультимодальному классу image-text-to-text и поддерживает обработку текстовых запросов и изображений, включая фотографии, снимки экрана и документы. Опубликованы варианты MQ-Q6-SSD-PLE-BF16 и MQ-Q5-SSD-PLE-BF16 с общим BF16 SSD-PLE sidecar; также доступен FP8 sidecar. Для модели заявлена проверка прямого prefill на 262 144 токенах, а связанный runtime поддерживает путь Qwen YaRN до 524 288 токенов, однако это подтверждает возможности программного стека, а не качество модели на таком контексте. В README приведены измерения производительности prefill и decode, оптимизации MTP, повторное использование кэшей и сквозная работа изображений через несколько API-совместимых интерфейсов. Сильные стороны модели — мультимодальность, варианты с разным компромиссом между качеством и потреблением памяти, поддержка SSD-PLE offload, длинного контекста и оптимизированного инференса. Ограничения включают зависимость от совместимого runtime и аппаратной конфигурации, необходимость выбора подходящего sidecar, а также отсутствие в README точных данных о числе параметров, языках, полном описании архитектуры и сравнении качества с исходной моделью. Лицензия указана как qwen-community-1.0; применяются условия лицензии Qwen, доступной по ссылке в карточке модели.

RedHatAI/Qwen3-VL-235B-A22B-Instruct-FP8-dynamic — мультимодальная instruction-tuned модель, разработанная Red Hat на базе Qwen/Qwen3-VL-235B-A22B-Instruct. Она принимает текст, изображения и видео, а генерирует текст, поэтому предназначена для диалоговых сценариев, анализа визуального содержимого, ответов на вопросы по изображениям и видео, а также решения текстовых, математических, рассуждательных и визуальных задач. Модель использует архитектуру Qwen3VLMoeForConditionalGeneration и имеет 235 млрд параметров, из которых 22 млрд активируются для отдельного токена, согласно идентификатору базовой модели. Вариант FP8-dynamic применяет FP8-квантизацию весов и активаций линейных слоёв трансформерных блоков с динамической квантизацией токенов для активаций и поканальной квантизацией весов. Это примерно вдвое уменьшает объём хранения и требования к GPU-памяти по сравнению с представлением FP16. В README не указаны поддерживаемые языки и максимальная длина контекста. Для развёртывания приведён vLLM с tensor parallelism на четырёх GPU. К сильным сторонам относятся мультимодальность, снижение требований к памяти и близкое к исходной модели качество на приведённых тестах: например, восстановление показателей составляет 99,2–100,5% на задачах OpenLLM V1, включая ARC-Challenge, GSM8K, HellaSwag, MMLU и TruthfulQA. Ограничения включают необходимость производительной GPU-инфраструктуры и совместимого ПО для FP8 и формата compressed-tensors; численные результаты приведены только для ограниченного набора тестов, а влияние квантизации на другие сценарии не раскрыто. Модель распространяется по лицензии Apache-2.0.

RecurrentGemma 9B IT — разработанная Google инструктивно настроенная большая языковая модель семейства RecurrentGemma с рекуррентной архитектурой. Она предназначена для генерации текста в диалогах и по инструкциям, включая ответы на вопросы, суммаризацию и рассуждения; также подходит для черновиков писем и другого текстового контента. Рекуррентная архитектура снижает потребление памяти по сравнению с Gemma и ускоряет генерацию при работе с длинными последовательностями. Модель доступна в формате safetensors и поддерживается библиотекой Transformers. Версия instruction-tuned рассчитана на английский язык. Лицензия Gemma; использование регулируется условиями Google для моделей Gemma. Как и другие языковые модели, она может выдавать фактические ошибки, отражать смещения обучающих данных и испытывать трудности с неоднозначностью, тонкими языковыми нюансами и сложными открытыми задачами. Для применения, особенно в пользовательских продуктах, следует проверять ответы и учитывать требования к безопасности контента.

Sakalti/ultiima-72B — слитая языковая модель автора Sakalti на архитектуре Qwen2, созданная методом TIES с помощью mergekit на основе Qwen/Qwen2.5-72B и Qwen/Qwen2.5-72B-Instruct. Это плотная авторегрессионная модель на 71,5 млрд параметров в формате safetensors с контекстом до 131 072 токенов; она предназначена для генерации текста и диалогов. Метаданные отмечают интерфейс вызова инструментов, а карточка приводит результаты оценки на Open LLM Leaderboard, включая IFEval и BBH. Модель поддерживает множество языков, среди которых английский, китайский, русский, французский, испанский, немецкий, японский, арабский и хинди. Её можно применять для диалоговых ассистентов, генерации текстов и ответов на инструкции. Карточка указывает лицензию «other», поэтому условия использования следует сверить с лицензией и правилами репозитория; конкретные ограничения применения в карточке не описаны.

Salience-1.5-Flash — мультимодальная модель vectionlabs, представленная в виде квантованных файлов GGUF, подготовленных bartowski с использованием llama.cpp. Модель основана на vectionlabs/Salience-1.5-Flash и относится к семейству Qwen3-VL; в карточке указаны архитектура mixture-of-experts (MoE), поддержка работы с изображениями и текстом, рассуждений, программирования, агентских сценариев и использования инструментов. Заявленный язык — английский. Модель предназначена для задач image-text-to-text: анализа изображений и генерации текстовых ответов, а также для диалоговых, аналитических, кодовых и инструментальных сценариев. В README не указаны точный размер модели, число экспертов, длина контекста и полный перечень поддерживаемых языков, поэтому эти характеристики нельзя определить по имеющимся данным. Доступны варианты от bf16 и Q8_0 до более компактных квантований Q3 и IQ3/IQ4; рекомендуемыми названы несколько вариантов Q4–Q6 с размером файлов примерно от 16,5 до 26,6 ГБ. К сильным сторонам относятся мультимодальность, MoE-архитектура, заявленная ориентация на рассуждения, программирование, агентское взаимодействие и работу с инструментами, а также возможность локального запуска через llama.cpp и совместимые приложения. Ограничения связаны с необходимостью выбирать подходящий уровень квантования и с отсутствием в карточке подробных результатов оценки качества, точных требований к оборудованию и спецификаций контекстного окна. Модель распространяется по лицензии Apache-2.0.

Zen Pro — диалоговая языковая модель общего назначения, разработанная Hanzo AI и Zoo Labs Foundation на основе Qwen/Qwen3-8B. Это плотный авторегрессионный трансформер семейства Qwen3 с 7,6 млрд параметров, дообученный с обучением идентичности Hanzo, данными для агентных сценариев и abliteration. Модель предназначена для генерации текста, диалога, рассуждений и анализа; доступна через API Hanzo и в формате Transformers с весами safetensors. Модель принимает текст и генерирует текст. Контекстное окно составляет 40 960 токенов. В метаданных указан английский язык; базовая Qwen3-8B описана как многоязычная, но основным языком Zen Pro в карточке заявлен английский. Модель выпущена по лицензии Apache-2.0. Карточка отмечает, что чекпойнт архивирован и уступил место поколению zen5.

ZEUS-8B-V23 — объединённая языковая модель на архитектуре Llama 3.1, созданная с помощью mergekit методом DARE TIES. В качестве основы использована unsloth/Meta-Llama-3.1-8B-Instruct; в объединение также вошли Llama-3.1-Tulu-3-8B, Llama-3.1-Storm-8B, SuperNova-Lite, SauerkrautLM, Lexi-Uncensored-V2 и HuatuoGPT-o1-8B. Модель содержит 7,5 млрд параметров, работает через Transformers и принимает текст для генерации текста; поддерживает диалоги и интерфейс вызова инструментов. Заявленный контекст — до 131 072 токенов. Модель подходит для диалоговых сценариев, генерации ответов и следования инструкциям. В README приведены результаты Open LLM Leaderboard, включая 76,21% на IFEval и 31,47% на BBH; эти показатели относятся к указанным оценочным настройкам и не гарантируют качество в конкретном приложении. В карточке не приведены сведения о лицензии, поэтому условия использования следует проверять в репозитории и у моделей-источников.

adowu/astral-256k-7b — текстовая генеративная модель, разработанная автором aww на архитектуре MistralForCausalLM. Она предназначена для генерации текста и диалоговых сценариев, а также может применяться для суммаризации и перевода длинных документов. Модель содержит 8 млрд параметров и поддерживает контекст до 256 000 токенов. Карточка описывает обработку длинных последовательностей и оптимизацию для вычислений bfloat16; метаданные указывают формат safetensors и библиотеку Transformers. Указана поддержка английского языка и лицензия Apache-2.0. Модель подходит для создания статей и отчётов, чат-ботов и работы с большими документами. Качество для отдельных задач карточка не подтверждает количественными оценками; применение на длинном контексте потребует соответствующих вычислительных ресурсов.

bartowski/c4ai-command-r-v01-GGUF — это набор квантованных версий большой языковой модели c4ai-command-r-v01, разработанной CohereForAI и подготовленной в формате GGUF пользователем bartowski с помощью llama.cpp. Модель предназначена для генерации текста и может использоваться в локальных сценариях через совместимые реализации llama.cpp. В README указана поддержка английского, французского, немецкого, испанского, итальянского, португальского, японского, корейского, китайского и арабского языков. Архитектура, количество параметров, модальности и размер контекста не указаны. Доступны варианты квантования Q2_K–Q8_0 размером примерно от 13,81 до 37,17 ГБ; Q6_K отмечен как рекомендуемый вариант с очень высоким качеством, а Q8_0 — как вариант максимального доступного качества. Более сильное квантование обычно сохраняет лучшее качество, но требует больше места и памяти; варианты Q3 и Q2 экономичнее, однако сопровождаются заметным снижением качества. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

Citaman/command-r-35-layer — объединённая модель для генерации текста, созданная Citaman методом SLERP с помощью mergekit на основе Citaman/command-r-36-layer. В конфигурации объединены два среза слоёв одной базовой модели; метаданные относят репозиторий к семейству Cohere и архитектуре CohereForCausalLM с плотными весами. Модель содержит 30,9 млрд параметров и рассчитана на контекст до 8192 токенов. Модель предназначена для диалоговой генерации текста и интерфейсов вызова инструментов. Веса доступны в формате safetensors для библиотеки Transformers. В README и метаданных не описаны поддерживаемые естественные языки, качество на конкретных задачах или результаты оценки. Условия лицензирования в предоставленных данных не приведены.

MLX-версия модели DeepSeek-R1-Distill-Qwen-32B, разработанной DeepSeek и производной от Qwen. Данная сборка преобразована сообществом mlx-community в формат MLX с использованием mlx-lm 0.21.1 и предназначена для локального запуска и генерации текста через библиотеку mlx-lm, прежде всего на устройствах Apple, поддерживающих MLX. Из README известно, что модель имеет размер 32B параметров и использует 8-битное представление весов. Она является текстовой языковой моделью; конкретные сведения об архитектуре, поддерживаемых языках, длине контекста, сильных сторонах и ограничениях в карточке не указаны. Для работы требуется установить mlx-lm и загрузить модель через его API. Лицензия и условия коммерческого или иного использования в README не указаны. Для точной оценки прав использования следует обратиться к карточке базовой модели deepseek-ai/DeepSeek-R1-Distill-Qwen-32B и к условиям публикации конвертированной версии.

duyntnet/gemma-3-12b-it-imatrix-GGUF — набор квантованных GGUF-вариантов инструкционно дообученной мультимодальной модели Gemma 3 12B IT, разработанной Google. Модель предназначена для генерации текста, ответов на вопросы, суммаризации, рассуждений и анализа изображений с выдачей текстового ответа. Квантованные варианты ориентированы на локальный запуск с ограниченными ресурсами через llama.cpp и совместимые клиенты, включая KoboldCPP, Ollama, LM Studio и другие. Модель принимает текст и изображения: изображения нормализуются до 896×896 пикселей и кодируются в 256 токенов каждое. Заявлены поддержка более 140 языков, контекст до 128K токенов для версии 12B и максимальный объём генерируемого текста до 8192 токенов. Использование imatrix-квантизации уменьшает требования к памяти по сравнению с полноразмерными весами, но конкретные характеристики качества и расхода ресурсов зависят от выбранного файла квантизации. Сильными сторонами являются мультимодальность, большой контекст, многоязычность и возможность локального развертывания. Ограничения включают зависимость от совместимого программного обеспечения: для запуска требуется llama.cpp версии b4875 или новее; квантование также может снижать точность по сравнению с исходной моделью. В README лицензия указана как other, без дополнительных условий, поэтому перед использованием необходимо проверить лицензионные положения исходной Gemma 3 12B IT и конкретного файла модели.

axolotl-mirrors/gemma-3-4b-pt — это предварительно обученная модель семейства Gemma 3, разработанного Google на основе технологий и исследований, использованных для Gemini. Это плотная мультимодальная модель с архитектурой Gemma3ForConditionalGeneration: она принимает текст и изображения и генерирует текст. Вариант 4B предназначен для понимания изображений, ответов на вопросы, суммаризации и других задач работы с языком и визуальными данными. Модель подходит для извлечения сведений из изображений, диалоговых интерфейсов, создания и редактирования текстов, а также экспериментов с vision-language-моделями. В README семейство Gemma 3 описано как многоязычное, с поддержкой более 140 языков и контекстом до 128 тысяч токенов; конкретные параметры этого варианта в метаданных не приведены. Для репозитория указан формат safetensors и лицензия Gemma. Качество ответов зависит от обучающих данных и формулировки запроса; возможны предвзятые, неточные или устаревшие ответы. Модель может затрудняться с неоднозначностью, тонкими языковыми нюансами и сложными открытыми задачами.

JoyFox-OmniFlow-9B — мультимодальная модель общего назначения от JoyFox на основе OpenBMB MiniCPM-o 4.5. Она поддерживает диалог на английском, китайском и других языках, выполнение инструкций, ответы на сложные вопросы, математические рассуждения, генерацию кода, ролевые сценарии и вызов инструментов. Модель принимает текст, изображения, видеокадры и аудио, а также поддерживает потоковое взаимодействие в режиме full-duplex с одновременным аудио- и визуальным вводом и текстовым или речевым выводом. Архитектура MiniCPMO включает языковую модель, визуальный и аудиоэнкодеры, мультимодальные проекционные слои и модуль синтеза речи. В README указан размер 9B, а метаданные сообщают 7,6 млрд параметров; контекст — до 40 960 токенов. Релиз распространяется в BF16 Safetensors и включает ресурсы для TTS и клонирования голоса по образцу аудио. Для полной потоковой генерации речи требуются дополнительные зависимости minicpmo-utils[all]. Модель загружается через Transformers; в README описана проверка полной загрузки на GPU NVIDIA RTX PRO 6000 Blackwell. Независимые внешние результаты бенчмарков не приведены; качество потокового взаимодействия зависит от конфигурации аудио и видео и среды выполнения. Возможны неточные, предвзятые или неподходящие ответы, а схемы и аргументы вызова инструментов требуют проверки. Лицензия — Apache-2.0.

saishf/Long-SOVL-Experiment-8B-L3-262K — объединённая разговорная языковая модель, созданная с помощью mergekit методом Model Stock на базе gradientai/Llama-3-8B-Instruct-262k. В объединение вошли модели Aura, BlueMoon, Luna, RP_Format_QuoteAsterisk и Smarts от ResplendentAI. Модель построена на архитектуре LlamaForCausalLM, содержит 7,5 млрд параметров и принимает текст для генерации текста; поддерживает контекст до 262 144 токенов. Модель предназначена для диалогов и генерации ответов, включая работу с длинными текстами в пределах контекстного окна. Репозиторий содержит веса в формате safetensors. Сведения о лицензии и конкретных ограничениях качества в предоставленных данных отсутствуют.

insraq/MiniCPM5-2B-heretic-abliterated — производная версия MiniCPM5-2B, опубликованная пользователем insraq. Это плотная причинная языковая модель на 2,2 млрд параметров с архитектурой LlamaForCausalLM, рассчитанная на локальных помощников, программирование, математику, длинный контекст и сценарии с вызовом инструментов. Она принимает текст и генерирует текст; заявленная длина контекста — 131 072 токена. Модель серии MiniCPM5 разработана для локального запуска на устройствах и в условиях ограниченных ресурсов; карточка заявляет сильные результаты среди моделей сопоставимого размера в программировании, математике, понимании длинного контекста и использовании инструментов. В названии указано abliterated, а теги описывают модель как uncensored/decensored, однако README не объясняет метод получения этой версии и не приводит её отдельную оценку. README базовой модели предупреждает о возможных неточностях, предвзятых или оскорбительных ответах и отсутствии экспертной проверки чувствительных тем. Модель распространяется по лицензии Apache-2.0.