I.1Поиск и навигация по информации

Raptor 0.6 — GGUF — это квантизированная версия модели Raptor 0.6, разработанная Osaurus AI на базе XHToken/Spark-X2.5-4B. Модель предназначена для генерации текста, рассуждений, агентских сценариев и использования инструментов, включая работу с файлами и вызов функций. Заявлена поддержка английского и китайского языков, а формат GGUF ориентирован на локальный запуск, в частности в Osaurus for Windows и совместимых рантаймах семейства llama.cpp. Модель содержит около 4 млрд параметров и использует архитектуру spark2_5: объединённый q_k_v_proj, sigmoid-gate на выходе attention, GELU-MLP, RMSNorm без сдвига, а также комбинацию sliding и full attention с окном 512 токенов. В репозитории доступны варианты Q6_K размером около 3,38 ГБ и Q4_K_M размером около 2,60 ГБ; оба созданы с importance matrix для снижения потерь при квантизации. Поддерживаются встроенное рассуждение с отделением reasoning_content от основного ответа и преобразование вызовов инструментов в стандартный OpenAI JSON. Сильными сторонами являются возможность локального запуска, небольшой размер, поддержка reasoning и tool use, а также калибровка imatrix; для Q6_K заявлено совпадение top-1 с исходными bf16-весами на уровне 98,27%. Ограничение — необходим runtime с поддержкой архитектуры spark2_5: стандартные версии llama.cpp, Ollama и LM Studio без такой поддержки эти файлы не загрузят. Для работы рекомендуется llama.cpp с параметром --jinja; при сложных запросах рассуждения могут потребовать более 8192 выходных токенов, которые учитываются вместе с входом в пределах контекстного окна. Лицензия — Apache-2.0.

Kaballas/TLetsgo — объединённая языковая модель, созданная разработчиком Kaballas с помощью mergekit и метода Model Stock на основе Qwen/Qwen2.5-7B. В объединение также вошли Kaballas/T36Model, Locutusque/StockQwen-2.5-7B и trollek/Qwen2.5-7B-CySecButler-v0.1. Модель имеет архитектуру Qwen2ForCausalLM, содержит 7,1 млрд параметров и принимает текст для генерации текста; поддерживает диалоговый режим и интерфейс вызова инструментов. Максимальная длина контекста — 131 072 токена. Модель предназначена для диалогов и генерации текста общего назначения. Веса опубликованы в формате safetensors, библиотека для работы — Transformers. Лицензия в предоставленных данных не указана.

Bielik-11B-v3.0-Instruct — разговорная генеративная модель на 11 млрд параметров, разработанная SpeakLeash совместно с центром ACK Cyfronet AGH. Это плотная авторегрессионная модель архитектуры LLaMA, дообученная следовать инструкциям на базе speakleash/Bielik-11B-v3-Base-20250730. Она предназначена для диалогов, ответов на вопросы и других задач генерации текста; особенно хорошо ориентирована на польский язык и обучена на текстах на 32 европейских языках. Модель дообучали на инструкциях и многоходовых диалогах, а затем применяли методы DPO и обучения с подкреплением для улучшения стиля ответов и аналитических способностей, в том числе на задачах логики, STEM, математики и использования инструментов. Метаданные указывают нативный контекст 32 768 токенов. Для чата используется шаблон ChatML; веса доступны в формате safetensors, библиотека — Transformers. Модель может давать фактически неверные, предвзятые или оскорбительные ответы; встроенных механизмов модерации нет, поэтому её ответы требуют проверки. Распространяется по лицензии Apache 2.0.

Citaman/command-r-9-layer — объединённая текстовая модель, созданная автором репозитория с помощью mergekit из срезов Citaman/command-r-10-layer методом SLERP. Это плотная авторегрессионная архитектура Cohere с 9,5 млрд параметров; метаданные также указывают поддержку диалога и интерфейса вызова инструментов. Модель предназначена для генерации текста и диалоговых сценариев, включая ответы на запросы и работу с инструментами. Контекст — до 8192 токенов; вход и выход — текст. Репозиторий содержит веса в формате safetensors. Модель опубликована под лицензией, сведения о которой не представлены в предоставленных данных.

GPT-4.1 nano — компактная модель OpenAI из семейства GPT-4.1, предназначенная для задач с низкой задержкой и низкой стоимостью. Карточка описывает её как самую быструю и дешёвую модель в серии и указывает контекстное окно в 1 миллион токенов. Модель подходит для сценариев, где важны скорость и экономичное выполнение задач, требующих обработки текста. Данных о конкретных возможностях, поддерживаемых языках, архитектуре и лицензии в предоставленных источниках нет.

LLaMa-3.1-Instruct-Zeroed-13B — объединённая языковая модель семейства Llama, созданная сообществом mergekit методом passthrough на основе unsloth/Meta-Llama-3.1-8B-Instruct. Она предназначена для диалогов и генерации текста по инструкциям; поддерживает интерфейс вызова инструментов. Модель содержит 12,5 млрд параметров, принимает текст и имеет контекстное окно до 131 072 токенов. Модель подходит для чат-ботов, ответов на вопросы и других сценариев генерации текста. В репозитории указаны веса Safetensors для Transformers. Лицензия в предоставленных данных не указана.

RedHatAI/Llama-4-Scout-17B-16E-Instruct-quantized.w4a16 — мультимодальная instruct-модель, разработанная Red Hat совместно с Neural Magic на основе Meta Llama-4-Scout-17B-16E-Instruct. Она предназначена для диалоговых приложений, генерации и обработки текста, а также задач image-text-to-text с изображениями и текстовыми запросами на входе и текстом на выходе. Поддерживаются арабский, немецкий, английский, испанский, французский, хинди, индонезийский, итальянский, португальский, тайский, тагальский и вьетнамский языки. Модель использует архитектуру Llama4ForConditionalGeneration. Её веса квантизированы в INT4 по схеме W4A16 без квантизации активаций, что примерно на 75% снижает требования к памяти GPU и размер на диске по сравнению с представлением весов в 16 бит. Для инференса предусмотрена интеграция с vLLM, Red Hat AI Inference Server, Red Hat Enterprise Linux AI и OpenShift AI; модель валидирована в RHOAI 2.20, RHAIIS 3.0, RHELAI 1.5 и vLLM 0.8.4. К сильным сторонам относятся мультимодальность, поддержка нескольких языков и сниженные требования к ресурсам благодаря квантизации. README не указывает число активируемых параметров, максимальную длину контекста, точные показатели качества или аппаратные требования, поэтому производительность в конкретных сценариях следует проверять отдельно. Модель выпущена 25 апреля 2025 года и распространяется по лицензии Llama 4; применяются условия лицензии Meta Llama 4.

Llama-SEA-LION-v3.5-8B-R — инструктивная языковая модель AI Singapore, разработанная командой Products Pillar при финансировании Национального исследовательского фонда Сингапура. Это плотная decoder-модель на архитектуре Llama 3.1 с 7,5 млрд параметров, дообученная на основе aisingapore/Llama-SEA-LION-v3-8B-IT. Она предназначена для диалога, генерации текста, следования инструкциям и задач, требующих рассуждений; режим рассуждений или стандартной генерации выбирается через шаблон чата токенизатора. Модель поддерживает бирманский, китайский, английский, филиппинский, индонезийский, яванский, кхмерский, лаосский, малайский, сунданский, тамильский, тайский и вьетнамский языки. Контекстное окно — до 128 тысяч токенов по карточке модели; метаданные указывают 131 072 токена. Модель может применяться для ответов на вопросы, анализа тональности и токсичности, перевода, суммаризации, причинных рассуждений и многошагового диалога. Модель способна галлюцинировать, выдавать нерелевантные или противоречивые ответы, поэтому результаты следует проверять. Она не прошла настройку безопасности; для пользовательских приложений разработчикам следует самостоятельно обеспечить необходимую настройку и меры защиты. Лицензия — Llama 3.1 Community License.

openbmb/MiniCPM-V-4_5-AWQ — квантованная в формате AWQ версия мультимодальной модели MiniCPM-V 4.5, разработанная командой OpenBMB. Модель предназначена для понимания одиночных и нескольких изображений, видео, OCR, разбора документов и визуально-языкового диалога, включая локальное использование на мобильных и обычных устройствах. Модель построена на Qwen3-8B и SigLIP2-400M и содержит около 8 млрд параметров. Она поддерживает более 30 языков, обрабатывает изображения высокого разрешения с произвольным соотношением сторон и площадью до 1,8 млн пикселей, а также видео с высокой частотой обновления — до 10 кадров в секунду. Унифицированный 3D-Resampler сжимает видеотокены до 96 раз, а архитектура на основе LLaVA-UHD снижает количество визуальных токенов при работе с изображениями. Доступны режимы быстрого и глубокого рассуждения. Сильные стороны модели — заявленные высокие результаты в визуально-языковых задачах, OCR, распознавании рукописного текста, анализе PDF и длинных видео, а также возможность эффективного запуска через llama.cpp, Ollama, vLLM и SGLang. Ограничения, включая точные требования к памяти и аппаратному обеспечению, контекстное окно и условия коммерческого использования, в README не указаны. README также не содержит явной информации о лицензии, поэтому условия распространения следует уточнять отдельно.

Ministral 3 8B Instruct 2512 — мультимодальная модель семейства Ministral 3 от Mistral AI, представленная в FP8 и дообученная для выполнения инструкций. В архитектуре используются языковая модель на 8,4 млрд параметров и визуальный энкодер на 0,4 млрд параметров; модель принимает текст и изображения и отвечает текстом. Она предназначена для локального и периферийного развёртывания, включая системы с ограниченными ресурсами; по данным карточки, FP8-версия может помещаться в 12 ГБ видеопамяти. Модель подходит для диалоговых помощников, описания и анализа изображений и документов, перевода, генерации контента и агентных сценариев. Поддерживает системные инструкции, вызов функций и вывод JSON, а контекстное окно составляет 256 тыс. токенов. Среди заявленных языков — английский, французский, испанский, немецкий, итальянский, португальский, нидерландский, китайский, японский, корейский и арабский. Лицензия Apache 2.0 разрешает коммерческое и некоммерческое использование и модификацию. Для качества работы с изображениями карточка рекомендует использовать изображения с соотношением сторон, близким к квадратному.

duyntnet/Mistral-NeMo-Minitron-8B-Instruct-imatrix-GGUF — это набор GGUF-квантизаций инструкционной языковой модели Mistral-NeMo-Minitron-8B-Instruct, разработанной NVIDIA. Исходная модель создана на базе Mistral-NeMo-Minitron-8B-Base, которая была получена из Mistral-NeMo 12B с применением методов pruning и distillation, а затем дообучена в несколько этапов с помощью supervised fine-tuning и выравнивания на основе предпочтений. Модель предназначена для генерации текста, включая диалоговые сценарии, roleplay, retrieval-augmented generation и function calling. Она работает с текстом на английском языке и поддерживает контекст до 8192 токенов. Архитектура представляет собой авторегрессионный Transformer Decoder семейства Mistral-NeMo с 40 слоями, размером эмбеддингов 4096, 32 attention heads, промежуточным размером MLP 11520, Grouped-Query Attention и Rotary Position Embeddings. Формат GGUF позволяет использовать модель в совместимых локальных клиентах и интерфейсах, включая llama.cpp, KoboldCPP, Ollama, Jan, text-generation-webui и GPT4All. Для оптимальных результатов рекомендуется применять специальный шаблон диалога с ролями System, User и Assistant и заданными специальными токенами. Ограничения включают поддержку только текстовой модальности и заявленного английского языка; конкретные характеристики производительности зависят от выбранного уровня квантизации и аппаратного обеспечения. Исходная модель распространяется по NVIDIA Open Model License; для данного репозитория указано обозначение лицензии other.

Mistral-Small-3.2-24B-Instruct-2506 — плотная модель Mistral на 24 млрд параметров, дообученная на основе mistralai/Mistral-Small-3.1-24B-Base-2503. Она предназначена для следования инструкциям, диалогов и вызова функций; поддерживает обработку изображений и текста. В версии 3.2 улучшены следование инструкциям, снижение повторов и вызов функций по сравнению с версией 3.1. Модель опубликована в формате safetensors и совместима с vLLM. Модель подходит для ассистентов, которым нужно отвечать на запросы, разбирать изображения и обращаться к инструментам через вызов функций. В карточке перечислена поддержка 23 языков, включая русский, английский, французский, немецкий, испанский, китайский и японский. Лицензия Apache-2.0 разрешает свободное использование и распространение с соблюдением её условий.

Карточка модели ashton25549/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16 на Hugging Face совпадает с карточкой nvidia/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16, поэтому описание составлено по ней. NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16 — языковая модель общего назначения от NVIDIA для диалога, рассуждений и генерации текста. Это эталонные веса в формате BF16, предназначенные прежде всего для дообучения, адаптации к предметным областям, исследований и подготовки собственных квантованных вариантов. Модель готова к коммерческому использованию; в карточке лицензия указана как other. Архитектура — гибридная Mixture-of-Experts с чередованием слоёв Mamba-2 и MoE и отдельными слоями Attention; также используются слои Multi-Token Prediction. В README заявлены 30 млрд параметров всего и 3 млрд активных, а в метаданных каталога — 1,9 млрд параметров. Модель поддерживает контекст до 262 144 токенов по метаданным; README указывает до 1 млн токенов для отдельных конфигураций оборудования. Основной язык — английский; также поддерживаются испанский, французский, немецкий, итальянский и японский, а README дополнительно описывает посттренировочные данные на китайском. Модель предназначена для настройки под пользовательские данные с помощью SFT, RL или дистилляции, а также для оценки и генерации текста в чат- и агентных сценариях. Полноточный вариант требует значительных ресурсов для инференса: README приводит 256K контекста для одной H100 80 GB и конфигурации до 1 млн токенов на более мощном оборудовании. Для более быстрой производственной генерации NVIDIA рекомендует отдельную NVFP4-версию.

Accio-Lab/occamy-1.0-NVFP4 — это версия модели Occamy 1.0 со смешанными NVFP4-квантованными весами, разработанная Accio-Lab. Модель основана на Qwen3.6-35B-A3B и использует архитектуру mixture-of-experts (MoE). Она относится к мультимодальным моделям image-text-to-text и предназначена для работы с текстовыми и визуальными запросами. Квантованию подвергнуты маршрутизируемые эксперты: для их весов и активаций используются NVFP4. Механизмы внимания, маршрутизаторы, общие эксперты, эмбеддинги, выходная голова и vision-компоненты сохранены в формате BF16. Сохранены исходные токенизатор и chat template Occamy; отдельная MTP-голова в этот checkpoint не включена. Модель подходит для генерации текста и кода, структурированных ответов в JSON, tool calling и базового распознавания изображений. Проверки показали сопоставимое с BF16-версией поведение на небольшом наборе тестов для текста, кода, JSON, вызова инструментов и изображений. При этом заявленные проверки не являются общими бенчмарками и не подтверждают качество на широком спектре задач, аудио, видео, длинном контексте или производительность. Набор калибровки был ограниченным, а нативное выполнение NVFP4 требует совместимого оборудования и ядер; совместимость с vLLM проверялась через Marlin W4A16, а не через нативные FP4-вычисления. Валидация проводилась с контекстом 2048 токенов. Модель распространяется по лицензии Apache-2.0.

openchat-3.5-0106-128k-DPO-fixed-32000 — слитая модель на архитектуре Mistral, созданная с помощью LazyMergekit на основе NousResearch/Yarn-Mistral-7b-128k и Eric111/openchat-3.5-0106-128k-DPO. Модель содержит 7,1 млрд параметров и предназначена для генерации текста в диалоговом формате. Её можно применять для ответов на вопросы, написания текстов и работы с длинными документами; заявленная длина контекста в метаданных — 32 768 токенов. Репозиторий содержит веса в формате safetensors. Сведения о лицензии и конкретных языковых ограничениях в предоставленных данных отсутствуют.

Etherll/Qwen2.5-7B-della-test — объединённая языковая модель на архитектуре Qwen2 для генерации текста и диалогов. Она создана с помощью mergekit методом della на основе Qwen/Qwen2.5-7B с включением Qwen/Qwen2.5-7B-Instruct; в репозитории указаны веса safetensors в формате bfloat16 и около 7,1 млрд параметров. Модель принимает текст и генерирует текст, поддерживает контекст до 131 072 токенов, а метаданные отмечают интерфейс вызова инструментов. Модель подходит для диалоговых приложений, генерации и продолжения текста, а также структурированных ответов и вызова инструментов. В README приведены результаты оценок Open LLM Leaderboard, включая IFEval и BBH. Данные не подтверждают отдельную специализацию по предметной области или конкретный набор языков. Лицензия в предоставленных сведениях не указана.

Qwen3-30B-A3B-Instruct-2507-GGUF — это GGUF-квантизированная версия языковой модели Qwen3-30B-A3B-Instruct-2507, разработанной Qwen и квантизированной компанией Second State Inc. Модель предназначена для генерации текста в формате text-generation и диалогового использования через шаблон chatml, включая работу как сервиса LlamaEdge. В README также указан prompt template для взаимодействия с системными и пользовательскими сообщениями. Модель имеет архитектуру Mixture-of-Experts, о чём свидетельствует обозначение 30B-A3B, однако подробные характеристики архитектуры и языков в README не приведены. Поддерживается контекст размером до 256 000 токенов. Доступны варианты GGUF с разной точностью квантизации от 2 до 8 бит, а также f16; размеры файлов составляют примерно от 3,28 до 16,4 ГБ. Варианты Q4_K_M, Q5_K_M и Q5_K_S обозначены как рекомендуемые, поскольку обеспечивают баланс между размером и потерей качества. Сильной стороной модели являются большой контекст и широкий выбор вариантов квантизации, позволяющий адаптировать требования к памяти и качеству. Ограничения связаны с потенциальной потерей качества при низкой точности квантизации; кроме того, версия LlamaEdge в README указана как находящаяся в разработке. Модель распространяется по лицензии Apache-2.0.

Qwen3.5-0.8B-FP8 — мультимодальная каузальная языковая модель семейства Qwen3.5 с визуальным энкодером. Репозиторий surogate содержит FP8-квантизированные веса и конфигурации постобученной версии, основанной на Qwen/Qwen3.5-0.8B-Base. Модель предназначена для работы с текстом и изображениями, включая рассуждения, программирование, визуальное понимание и агентские сценарии. Модель содержит 0,8 млрд параметров, 24 слоя и скрытое измерение 1024. В архитектуре сочетаются Gated Delta Networks, Gated Attention и разреженная Mixture-of-Experts; используется гибридная схема с 6 блоками, каждый из которых включает три последовательности Gated DeltaNet → FFN и один блок Gated Attention → FFN. Нативная длина контекста составляет 262 144 токена. Заявлена поддержка 201 языка и диалекта, однако конкретный перечень языков в README не приведён. Ключевое преимущество версии — снижение требований к памяти и вычислениям благодаря мелкозернистой FP8-квантизации с размером блока 128; заявлено, что показатели производительности почти идентичны исходной модели. Артефакты совместимы с Hugging Face Transformers, vLLM, SGLang и KTransformers. Ограничения включают небольшой размер модели по сравнению с более крупными системами и потенциальные потери качества, характерные для компактных моделей, а также отсутствие подробных сведений о визуальном энкодере и результатах большинства тестов в предоставленном фрагменте. Лицензия — Apache-2.0.

Ex0bit/Qwen3.6-35B-A3B-PRISM-NVFP4 — мультимодальная модель для генерации текста, основанная на Qwen/Qwen3.6-35B-A3B и доработанная проектом Ex0bit с использованием настройки PRISM. PRISM направлена на смягчение чрезмерных отказов, удаление нежелательных проявлений предвзятости и пропагандистских шаблонов при сохранении или улучшении качества выполнения задач, связности ответов и мультимодальных возможностей. Модель использует разреженную архитектуру Mixture-of-Experts: общий размер составляет 35 млрд параметров, около 3 млрд параметров активируются для каждого токена, предусмотрено 256 маршрутизируемых экспертов. Веса и активации квантованы в формат NVFP4 W4A4 с использованием compressed-tensors; некоторые компоненты, включая vision encoder, lm_head, роутеры, embeddings и состояние линейно-внимательной SSM, сохранены в BF16. Доступна поддержка мультимодального ввода и MTP draft head для ускоренного спекулятивного декодирования. В README приведён режим обслуживания с ограничением контекста 32768 токенов. Ключевые преимущества модели — существенно сниженные требования к хранению, поддержка мультимодальных сценариев, MoE-эффективность и возможность спекулятивного декодирования. Основные ограничения связаны с аппаратной и программной совместимостью: модель рассчитана прежде всего на GPU NVIDIA Blackwell с архитектурами SM120/SM121 и требует версии vLLM с поддержкой NVFP4; стандартные сборки могут работать некорректно, особенно на SM121. Лицензия Apache 2.0 унаследована от базовой модели.

leok7v/Qwen3.8-27B — мультимодальная квантизованная сборка базовой модели Qwen3.8-27B, разработанной Qwen и Alibaba. Квантизацию выполнила unsloth, упаковку — leok7v. Модель предназначена для автономного запуска на устройстве: чата, суммаризации, подготовки текстов, ответов на вопросы по предоставленному контексту и описания изображений в офлайн-режиме или сценариях, чувствительных к конфиденциальности. Это плотная гибридная авторегрессионная языковая модель с чередованием трёх блоков линейного внимания Gated DeltaNet и одного блока полного внимания, дополненная vision encoder. Линейные блоки используют компактное рекуррентное состояние вместо растущего KV-кэша, а блоки полного внимания поддерживают дальний контекст. Веса представлены в нескольких вариантах квантизации от 1 до 4 битов размером примерно от 6,88 до 15,17 GiB. В каждый файл встроены vision tower, токенизатор, chat template, параметры семплирования и drafter для speculative decoding. Сильные стороны модели — мультимодальность, полностью автономная поставка в одном файле, отсутствие необходимости обращаться к серверу и потенциально сниженное потребление памяти благодаря гибридной архитектуре. Ограничения включают зависимость формата .ggxf от runtime Gadeon: совместимость со сторонними GGUF-инструментами не проверялась, а некоторые из них могут не поддерживать встроенный vision tower или тип iq4_nl. Квантизация снижает точность, особенно в 1- и 2-битных вариантах; возможны фактические ошибки, накопление ошибок в многошаговых рассуждениях и расхождения с исходной моделью. Модель не содержит дополнительного safety-тюнинга или фильтрации и не предназначена для принятия юридических, медицинских, финансовых и иных высокоставочных решений без проверки человеком. Лицензия — Apache 2.0, унаследованная от базовой модели.

lued/Qwen3.8-27B-heretic-ara-INT8-W8A16-MTP — квантизированная версия модели heretic-org/Qwen3.8-27B-heretic-ara, основанной на Qwen3.8-27B от Qwen. Репозиторий lued содержит численную W8A16-квантизацию; исходная модель была изменена проектом Heretic с применением abliteration для устранения встроенного профиля отказов. Модель предназначена для диалоговых и мультимодальных задач, включая работу с изображениями, рассуждения и генерацию текста, и оптимизирована для запуска через vLLM на видеокартах архитектуры Ampere, в частности на конфигурации из двух RTX 3090. Модель имеет 27 млрд параметров, сохраняет vision tower, управление режимом рассуждений и нативный контекст до 262 144 токенов. Веса представлены в INT8 с форматом W8A16, активации поддерживают FP16 или BF16, а голова MTP сохранена в исходном BF16 для speculative decoding. Используется симметричная data-free RTN-квантизация с размером группы 128 и форматом compressed-tensors; проверенный профиль vLLM включает tensor parallelism на двух GPU, FP8 E4M3 KV-кэш и три draft-токена MTP. Расширение контекста до 1 млн токенов с YaRN относится к исходной модели и требует отдельной настройки и достаточного объёма KV-кэша. Сильными сторонами являются уменьшенный объём памяти, совместимость с Ampere без нативного FP8 tensor-core исполнения, сохранение мультимодальности и длинного контекста, а также устранение отказов на указанном наборе из 100 вредоносных запросов исходной abliteration-моделью. Ограничением является намеренное изменение поведения: abliteration привела к заметному сдвигу распределения, а отсутствие отказов не означает гарантии безопасного использования. Производительность и поведение могут зависеть от конфигурации vLLM и доступной памяти. Модель распространяется по лицензии Apache 2.0.

TheWegemann/Qwen3.8-27B-LowGPU-NoMTP-IQ3XXXS-GGUF — это пользовательская GGUF-квантизация модели Qwen3.8-27B, разработанная TheWegemann совместно с авторами рецепта квантования. Модель предназначена для локального запуска через llama.cpp на видеокартах с 12 ГБ VRAM, включая сценарии работы с агентами, рассуждениями, текстом и изображениями. Модель основана на 27-миллиардной Qwen3.8-27B и занимает примерно 9,3 ГБ. Она использует гибридную архитектуру с блоками Gated DeltaNet и линейного внимания, периодическими блоками полного внимания и 64 слоями. Поддерживаются мультимодальные сценарии с совместимым F16 vision-проектором. В сборке удалена MTP-голова, чтобы уменьшить потребление видеопамяти. Рецепт IQ3XXXS является названием пользовательской схемы смешанного покомпонентного квантования, а не официальным типом квантования llama.cpp; применяются различные форматы, включая IQ1_S, IQ1_M, IQ2, IQ3, IQ4_XS, Q2_K, Q4_K, Q5_K и Q8_0. Тестирование проводилось с полным переносом на GPU, контекстом до 64 000 токенов, кэшем Q4_0, Flash Attention и сервером llama.cpp. Сильная сторона модели — сочетание относительно крупной базовой модели, мультимодальности и большого контекста с возможностью запуска на 12-ГБ GPU. Квантование агрессивно оптимизировано под ограниченный объём VRAM, а финальные слои и отдельные чувствительные тензоры сохранены с более высокой точностью. Ограничения связаны с потерями качества из-за низкой точности, отсутствием MTP и зависимостью фактического потребления памяти от версии llama.cpp, драйверов, настроек и использования видеопамяти. Сборка ориентирована прежде всего на GPU-only запуск; работа при меньшем объёме VRAM или с CPU offload возможна, но не является целевым сценарием. Модель распространяется по лицензии Apache-2.0.

Vontra/Qwen3.8-Flash-Next-MLX-oQ6 — это общественная MLX-конверсия базовой модели Qwen/Qwen3.8-Flash-Next, разработанной командой Qwen. Конверсия предназначена для запуска на Apple Silicon через совместимые MLX-VLM или oMLX. Модель относится к vision-language системам и поддерживает обработку текста и изображений; в поставку также входят исходные токенизатор, шаблон диалога, обработчик изображений и конфигурация генерации. Модель использует архитектуру qwen4_exp с разреженной смесью экспертов, Gated DeltaNet, Qwen Sparse Attention, расширенными gated residual streams и хешированными bigram/trigram embeddings. Всего заявлено 125 млрд параметров языковой части, из которых активно 6 млрд, а таблицы n-грамм содержат 51 млрд параметров. Архитектура включает 48 слоёв, 512 маршрутизируемых экспертов, 10 активных экспертов и один общий, 24 attention heads и 2 KV heads; размер скрытого состояния — 2560, настроенный контекст — до 262144 токенов. Веса представлены в формате MLX safetensors и занимают около 155,78 ГБ; используется смешанная 6-битная квантизация с отдельными модулями точностью 6/8 бит. Сильными сторонами являются поддержка мультимодальных сценариев, большой контекст, разреженная архитектура и оптимизация для Apple Silicon. На Apple M3 Studio в README указана скорость генерации примерно 19,5–23,1 токена в секунду в зависимости от режима. Ограничения включают очень большой объём весов, необходимость runtime с явной поддержкой qwen4_exp и отсутствие встроенной native MTP head в данной сборке. Приведённые показатели относятся к конкретной конфигурации и могут изменяться в зависимости от длины запроса, настроек генерации, версии runtime и доступной памяти. Это неофициальный релиз Qwen, а конверсия и упаковка Vontra. Модель распространяется по Qwen Community License 1.0; текст лицензии включён в репозиторий.

Qwen3-VL-4B-Instruct — плотная мультимодальная модель семейства Qwen3-VL, разработанная командой Qwen. Она принимает текст и изображения, а также предназначена для понимания видео и временных событий; в ответ генерирует текст. Модель доступна как репозиторий весов в формате safetensors и рассчитана на диалоговое использование через Transformers. Модель подходит для визуальных вопросов и ответов, распознавания и разбора текста на изображениях, анализа видео, пространственного рассуждения, мультимодальных STEM-задач и управления интерфейсами с вызовом инструментов. В README заявлены контекст 256 тысяч токенов с возможностью расширения до миллиона и OCR на 32 языках. Среди архитектурных особенностей указаны Interleaved-MRoPE для временных и пространственных данных и объединение многоуровневых визуальных признаков DeepStack. Лицензия Apache-2.0. Это вариант Instruct, предназначенный для применения в мультимодальных диалоговых сценариях; качество зависит от задачи и входных данных, а заявленные возможности не сопровождаются в карточке результатами бенчмарков.

Fulcrum-AI/Ryze-Nemo — слитая с помощью mergekit методом SLERP языковая модель на архитектуре Mistral, созданная на основе Mistral-Nemo-Instruct-2407 и Mistral-Nemo-Base-2407. Модель содержит 9,8 млрд параметров и рассчитана на генерацию текста и диалоговое взаимодействие; в метаданных также отмечен интерфейс вызова инструментов. Для запуска доступны веса в формате safetensors через библиотеку Transformers. Модель подходит для генерации ответов, диалогов и следования инструкциям. В метаданных указан контекст до 1 024 000 токенов, однако README не описывает проверку качества на таком контексте. Основана на многоязычной модели Mistral AI и NVIDIA. Лицензия в предоставленных данных не указана.

Sakalti/ultiima-72B-v1.5 — объединённая языковая модель на архитектуре Qwen2, созданная с помощью mergekit методом TIES. В качестве основы использована Sakalti/ultiima-72B; в объединение также вошли newsbang/Homer-v1.0-Qwen2.5-72B и shuttleai/shuttle-3. Модель содержит 71,5 млрд параметров, работает с текстом и рассчитана на контекст до 131 072 токенов. Модель предназначена для генерации текста и диалоговых сценариев; метаданные также указывают интерфейс вызова инструментов. Веса представлены в формате safetensors. Лицензия обозначена как other, поэтому перед использованием следует проверить условия на странице модели.

XVERSE-7B-Chat — многоязычная диалоговая модель, созданная компанией Shenzhen Yuanxiang Technology как версия XVERSE-7B, согласованная для общения. Это плотная decoder-only Transformer-модель с примерно 6,9 млрд параметров; она принимает текст и генерирует текст. Заявленная длина контекста — 8192 токена. Модель предназначена для многошаговых диалогов, ответов на вопросы и составления кратких пересказов. В обучающих данных представлены более 40 языков, включая китайский, английский, русский и испанский; в README отдельно отмечены сильные результаты на китайском и английском. Используются BPE-токенизация и словарь размером 100 534 токена. Модель может выдавать неточные, предвзятые или оскорбительные ответы, поэтому результаты следует проверять, а перед внедрением — оценить безопасность для конкретного сценария. Лицензия Apache-2.0.

Lambent/Eidolon-v2-14B — чат-модель на архитектуре Qwen2 с 14 млрд параметров и контекстом до 131 072 токенов. Автор указывает, что модель дообучена на основе Lambent/proto-nova-eidolon-v2alpha0.3-14B, а та настроена от arcee-ai/SuperNova-Medius; также применялись DPO, дополнительное обучение на инструкционных данных и продолженное предобучение. Репозиторий содержит веса в формате safetensors. Модель предназначена для генерации текста в диалоге и выполнения инструкций; заявлен интерфейс вызова инструментов. По словам автора, исправлена синтаксическая проблема предшественника, но оценка EQ-Bench примерно на один балл ниже, что может указывать на небольшое снижение качества рассуждений. В карточке указана лицензия CC BY-NC 4.0, поэтому применение ограничено некоммерческими сценариями. Тег «Not For All Audiences» связан автором с обучающими данными; автор также отмечает заметную цензуру.

m8than/gemma-3-27b-lenientchatfix — дообученная версия Gemma 3 от сообщества на базе Google Gemma 3 27B IT. Это плотная мультимодальная модель класса vision-language с 27 млрд параметров: принимает текст и изображения, генерирует текст и поддерживает диалоговый режим. Карточка описывает Gemma 3 как модель с контекстом до 128 тыс. токенов и поддержкой более 140 языков; метаданные этой версии указывают английский язык. Модель подходит для диалоговых помощников, ответов на вопросы по изображениям и текстам, извлечения сведений из изображений, суммаризации и генерации текста. В README также перечислены создание черновиков, кода и маркетинговых материалов, а также исследовательские и образовательные сценарии. Качество ответов зависит от обучающих данных и формулировки запроса; модель может ошибаться в фактах, упускать нюансы и отражать предвзятости данных. Использование регулируется лицензией Gemma; README не описывает отдельные изменения, внесённые при дообучении этой версии.

RedHatAI/GLM-5.3-Flash-NVFP4 — квантизированная версия модели zai-org/GLM-5.3-Flash, разработанная RedHatAI. Модель использует архитектуру Glm5NextForConditionalGeneration, принимает текст и изображения и генерирует текст. Заявленные языки — английский и китайский. Размер модели и длина контекста в предоставленных данных не указаны. Веса и активации линейных операторов MoE-экспертов квантизированы в формат FP4 (NVFP4), а слои MTP сохранены в FP8. Квантизация выполнена с помощью LLM Compressor, модель экспортирована в формате compressed-tensors и предназначена для инференса через vLLM. По данным README, такое сжатие примерно на 50% уменьшает объём диска и требования к памяти GPU для квантизированных весов по сравнению с 8-битным представлением. Также заявлена поддержка speculative decoding и автоматического выбора инструментов при соответствующей настройке vLLM. Модель ориентирована на мультимодальные и текстовые сценарии генерации, включая задачи рассуждения. В приведённой оценке она показала 97,74% на GSM8K Platinum, 94,87% на MATH-500, 86,67% на AIME 2025 и 90,57% на GPQA Diamond; результаты усреднены по нескольким запускам. Ключевое преимущество — снижение потребления дисковой и GPU-памяти при сохранении возможностей исходной модели, однако FP4-квантизация может влиять на качество и требует совместимой инфраструктуры. Модель распространяется по лицензии MIT.