I.1Поиск и навигация по информации

SassyDiffusion/Qwen3.6-27B-heretic-ara-GGUF — GGUF-версия декензурированной модели на базе Qwen3.6-27B. Модель создана SassyDiffusion с использованием Heretic 1.2.0 и метода Arbitrary-Rank Ablation (ARA). Базовая Qwen3.6-27B разработана командой Qwen и ориентирована на практическую разработку программного обеспечения, агентное кодирование, работу с фронтенд-проектами и рассуждения на уровне репозитория. Это каузальная языковая модель с vision encoder, содержащая около 27 млрд параметров и 64 слоя. Архитектура сочетает Gated DeltaNet, Gated Attention и FFN; заявленная длина контекста составляет 262 144 токена с возможностью расширения до 1 010 000 токенов. README не уточняет полный перечень поддерживаемых языков. Формат GGUF предназначен для запуска в совместимых инструментах локального инференса. Главная особенность версии — снижение склонности к отказам: в приведённом сравнении модель отказала в 16 из 100 тестовых запросов против 99 из 100 у исходной модели. При этом декензурирование изменяет поведение базовой модели: указана KL-дивергенция 0,0967, поэтому возможны отличия в качестве, безопасности и устойчивости ответов. Модель распространяется по лицензии Apache-2.0.

Qwen3.6-35B-A3B-GGUF — это GGUF-квантизированная версия модели Qwen3.6-35B-A3B, разработанной командой Qwen и подготовленной ByteShape с использованием ShapeLearn. Метод ShapeLearn выбирает тип данных для каждого тензора, чтобы сохранять высокое качество при малой разрядности. Модель предназначена для локального запуска и инференса через llama.cpp или LM Studio, включая сценарии, требующие обработки текста и изображений. Модель относится к семейству с обозначением 35B-A3B; README не раскрывает точную архитектуру, размер контекста и поддерживаемые языки. Доступны варианты, оптимизированные для GPU и CPU: GPU-версии используют IQ-квантизацию, а CPU-версии — преимущественно KQ-квантизацию. Размер файлов составляет примерно от 9,42 до 18 ГБ для GPU-вариантов и от 11,7 до 14,7 ГБ для указанных CPU-вариантов, при диапазоне 2,17–4,15 бит на вес. Сильными сторонами являются поддержка vision-сценариев, возможность локального запуска на различном оборудовании и выбор между качеством, размером и скоростью инференса. Ограничения включают зависимость производительности от конкретного варианта и оборудования, а также отсутствие поддержки этой GGUF-модели в Ollama на момент публикации README. Модель распространяется по лицензии Apache-2.0.

RedHatAI/Qwen3.8-2.4T-A95B-NVFP4 — квантизированная текстовая causal language model на базе Qwen/Qwen3.8-2.4T-A95B, разработанная RedHatAI. Модель принимает текст и генерирует текст; архитектура указана как Qwen3_5MoeForCausalLM с Mixture-of-Experts. Конкретные поддерживаемые языки и размер контекста в README не указаны. В модели веса и активации линейных операторов MoE-экспертов квантизированы в формат FP4 (NVFP4), тогда как attention и неквантизированные слои сохраняют исходную точность. Для квантизации использован LLM Compressor, а модель экспортирована в формате compressed-tensors и подготовлена для инференса через vLLM. Для развертывания в README приведена конфигурация с tensor parallelism и expert parallelism на 8 устройств. Ключевое преимущество — сокращение числа бит на параметр в квантизированных MoE-слоях с 16 до 4, что уменьшает их дисковый размер и требования к памяти GPU примерно на 75%. По заявленным оценкам, качество практически полностью сохраняется относительно неквантизированной версии: на GPQA Diamond получено 92,9 против 92,6, а на DeepSWE (v1.1) — 56,6 против 56,6. Ограничения включают зависимость от совместимой инфраструктуры vLLM и аппаратной поддержки NVFP4; лицензия в README не указана.

Avesed/Qwen3.8-27B-INT4-W4A16 — это квантизированная версия Qwen/Qwen3.8-27B, разработанная сообществом Avesed. Модель относится к гибридным плотным vision-language моделям: сочетает линейное внимание GatedDeltaNet с периодическим полным вниманием, имеет встроенную vision tower и MTP head для спекулятивного декодирования. Она поддерживает английский и китайский языки, а также обработку изображений и текста. Модель предназначена для генерации и перевода текста, рассуждений, математических задач и мультимодальных сценариев с изображениями. Используется INT4 weight-only квантизация W4A16 с AWQ, symmetric INT4 weights и group size 32. Размер чекпойнта составляет около 20 ГБ, поэтому веса помещаются на одной GPU с 24 ГБ памяти; для обслуживания через vLLM в README указана конфигурация tensor parallel на двух RTX 3090. В чувствительных к качеству компонентах, включая embeddings, lm_head, vision tower и MTP head, сохранён формат bfloat16. На GSM8K модель показала результат 96,4% при описанном в README протоколе оценки; заявлена работоспособность китайской и английской генерации, перевода, vision path и режимов reasoning. MTP-спекулятивное декодирование обеспечивает среднюю длину принятой последовательности около 2,4 токена из 3 при K=2. Ограничения включают зависимость результатов от протокола оценки и параметров сэмплирования, отсутствие результатов MMLU-Pro, а также заметную зависимость производительности от аппаратной конфигурации. Для запуска рекомендуется vLLM; лицензия — Apache-2.0.

Qwen_Qwen3.5-35B-A3B-GGUF — это набор квантованных версий модели Qwen3.5-35B-A3B, подготовленный пользователем bartowski на основе оригинальной модели Qwen. Модель предназначена для задач генерации текста и обработки изображений с текстом, а GGUF-формат позволяет запускать её локально через llama.cpp и совместимые приложения, включая LM Studio, Jan AI, KoboldCpp и Text Generation Web UI. В набор входят варианты от BF16 до низкобитных квантований Q8_0, Q6_K, Q5_K, Q4_K и Q3_K, а также IQ-квантизации. Размер файлов составляет примерно от 17 до 71 ГБ. Обозначение 35B указывает на 35 миллиардов параметров, а A3B относится к архитектуре исходной модели; подробности об архитектуре, поддерживаемых языках и размере контекста в README не приведены. Квантизации выполнены с использованием imatrix и llama.cpp, для некоторых конфигураций доступна поддержка MTP-слоёв. Сильная сторона набора — широкий выбор компромиссов между качеством, требованиями к памяти и скоростью локального запуска; варианты Q5 и Q6 обозначены как высококачественные, а Q4_K_M — как типичный выбор для большинства сценариев. Низкобитные варианты экономят память, но могут снижать качество. Для использования требуется совместимое программное обеспечение и аппаратные ресурсы, соответствующие размеру выбранного файла. Лицензия — Apache 2.0.

CausalLM/35b-beta2ep — разговорная языковая модель на архитектуре Cohere, разработчик в карточке не уточнён. Модель содержит 35 млрд параметров, распространяется в формате safetensors и использует шаблон диалога ChatML. Метаданные указывают контекст 8192 токена; упоминание в README обучения на длинных данных не означает, что эта версия рассчитана на контекст 128K. Модель предназначена для генерации текста в диалоге, общих вопросов, задач на знания и программирование. В README указано обучение на синтетических данных и веб-корпусе в течение одной эпохи; метаданные перечисляют среди обучающих наборов данные для диалогов, математики, инструкций и кода. Поддерживаемые языки по карточке — английский, китайский, японский и немецкий. Модель выпущена под лицензией GPL-3.0. README отмечает, что эта версия не ориентирована на очень длинный контекст; дополнительных сведений о качестве и ограничениях применения в карточке нет.

TheBloke опубликовал модель Jon Durbin Airoboros 33B GPT4 1.4 в формате PyTorch fp16, объединив её с SuperHOT 8K от Kaio Ken. Это плотная авторегрессионная модель семейства LLaMA примерно с 32,3 млрд параметров и контекстом до 8192 токенов. В README указано, что для поддержки расширенного контекста при инференсе требуется trust_remote_code=True или соответствующий monkey patch. Модель предназначена для диалогов и ответов на инструкции, включая вопросы по предоставленному контексту, генерацию текстов, ролевые сценарии, загадки и примеры кода. Обучающие данные Airoboros были синтетически созданы с помощью GPT-4; в карточке также отмечены примеры кода на десяти языках программирования. Для полного качества ответы на закрытые вопросы по контексту рекомендуется задавать в специальном формате, описанном в README. Веса доступны в формате PyTorch fp16 для GPU-инференса и дальнейшей конвертации. README помечает исходную версию Airoboros как ещё не протестированную; модель требует совместимого окружения и настройки расширенного контекста. Лицензия в метаданных обозначена как other, поэтому конкретные условия следует сверять с файлами репозитория.

airoboros-3b-3p11 — экспериментальная языковая модель jondurbin для генерации текста и диалогов по инструкциям. Она основана на архитектуре StableLM Epoch и содержит 2,7 млрд параметров; модель обучена на наборе airoboros-3.1 с преимущественно синтетическими данными. Контекст составляет до 4096 токенов, для диалогов используется формат Llama 2 Chat. Модель рассчитана на следование инструкциям, ответы на вопросы по предоставленному контексту, суммаризацию и помощь с кодом. Среди специализированных примеров обучения — структурированное представление математических решений в MathJSON, извлечение полей из журналов, обезличивание текста и генерация аргументов функций в JSON или YAML. Для этих сценариев в README рекомендуются явно заданный формат запроса и низкая температура генерации. Это общая экспериментальная модель, ориентированная на выполнение инструкций, а не на непринуждённое общение или ролевые диалоги. Карточка указывает на ограничения качества отдельных инструментов обработки MathJSON. Лицензия — CC BY-SA 4.0.

Карточка модели bh890/ARX на Hugging Face совпадает с карточкой bh890/LongCat-2.0, поэтому описание составлено по ней. LongCat-2.0 — большая языковая модель семейства LongCat, представленная разработчиками проекта LongCat. Это модель архитектуры MoE с классом LongcatCausalLM; в метаданных репозитория указано 42,1 млрд параметров, тогда как README описывает полную версию с 1,6 трлн параметров и примерно 48 млрд активируемых на токен. Репозиторий содержит веса в формате safetensors и использует лицензию MIT. Модель предназначена для диалоговой генерации текста, программирования, понимания кода и репозиториев, выполнения задач агентами и работы с инструментальными сценариями. README сообщает об обучении на данных с контекстом до 1 млн токенов и об архитектурном механизме LongCat Sparse Attention для длинных последовательностей; метаданные указывают нативный контекст 262 144 токена. В карточке также заявлены чат и интерфейс вызова инструментов. README особо выделяет задачи с длинным горизонтом, редактирование кода на уровне репозитория и автоматизацию действий; развёртывание описано для GPU и NPU. Модель не оценивалась всесторонне для всех возможных прикладных сценариев. Условия лицензии — MIT.

BgGPT-Gemma-3-12B-IT — плотно-архитектурная мультимодальная модель семейства Gemma 3, разработанная INSAIT и дообученная на базе google/gemma-3-12B-it для болгарского языка. Она принимает текст и изображения, поддерживает диалоговый режим и предназначена для следования инструкциям, многоходовых бесед, ответов на вопросы и понимания изображений в контексте с текстом. Модель содержит 12 млрд параметров и имеет заявленную эффективную длину контекста 131 тыс. токенов. Данные предварительного обучения охватывают период до мая 2025 года, а инструкционное дообучение — до октября 2025 года. Карточка указывает поддержку болгарского и английского языков; веса опубликованы в формате safetensors для Transformers. Лицензия Gemma.

DeepSeek-R1-0528-GGUF — это набор квантизированных версий языковой модели DeepSeek-R1-0528, разработанной deepseek-ai и преобразованной в формат GGUF участником bartowski с использованием llama.cpp. Модель предназначена для генерации текста и запуска локально через llama.cpp, LM Studio и другие совместимые проекты. В набор входят варианты квантизации Q8_0, Q6_K, Q5_K_M, Q5_K_S, Q4_K_M, Q4_K_S, IQ4_XS и другие, размером примерно от 215 до 713 ГБ для представленных файлов. Квантизация выполнена с применением imatrix и специального набора данных; для повышения производительности использовались изменения из соответствующего PR для llama.cpp. README не содержит сведений о точной архитектуре, числе параметров, поддерживаемых языках, модальностях и размере контекста исходной модели. Сильной стороной набора является широкий выбор уровней квантизации: более высокие варианты обеспечивают качество, близкое к исходному, а более компактные позволяют экономить оперативную память. Ограничения связаны с очень большими требованиями к дисковому пространству и памяти, а также с неизбежным снижением качества у низкобитных вариантов. Для работы следует использовать указанный формат промпта с маркерами DeepSeek-R1. Модель распространяется по лицензии MIT.

flammen8-mistral-7B — объединённая языковая модель, созданная flammenai методом SLERP с помощью mergekit из flammen7-mistral-7B и AlphaMonarch-7B. Это плотная авторегрессионная архитектура MistralForCausalLM с 7,1 млрд параметров; модель опубликована в формате safetensors и поддерживается библиотекой Transformers. Она предназначена для генерации текста, включая диалоговое взаимодействие, выполнение инструкций и рассуждения. Контекстное окно составляет 32 768 токенов. Модель принимает текст и генерирует текст. В карточке не заявлены специализированные области применения или поддерживаемые языки. Репозиторий создан 15 марта 2024 года. Лицензия — Apache-2.0.

Gemma-3-12b-it-GGUF — квантизированная GGUF-версия мультимодальной модели Gemma 3 12B Instruct, разработанной Google и квантизированной Second State Inc. Модель предназначена для диалогов, генерации и анализа текста, а также обработки изображений с использованием соответствующего мультимодального проектора. Модель содержит 12 миллиардов параметров и поддерживает контекст до 128 000 токенов. Доступны варианты квантизации от Q2_K до Q8_0, а также версия f16; размеры файлов составляют примерно от 4,77 до 23,5 ГБ. Для обработки изображений требуется файл gemma-3-12b-it-mmproj-f16.gguf, изображения необходимо нормализовать до разрешения 896×896, при этом каждое изображение кодируется в 256 токенов. README не указывает поддерживаемые языки. Основные преимущества — большой контекст, поддержка текста и изображений и возможность локального запуска через LlamaEdge. Качество и требования к ресурсам зависят от выбранной квантизации: малые варианты экономичнее, но могут заметно терять в качестве, тогда как Q4_K_M, Q5_K_M и Q5_K_S обозначены как рекомендуемые. Для запуска через LlamaEdge требуется версия 0.18.5 или новее. Модель распространяется по лицензии Gemma.

Sci-fi-vy/gemma-3-270m-it-GGUF — модель Gemma 3 270M от Google DeepMind, представленная в формате GGUF. Это instruction-tuned вариант базовой модели google/gemma-3-270m-it, предназначенный для генерации текста по инструкциям и запросам. Модель подходит для ответов на вопросы, суммаризации документов, рассуждений, работы с кодом и других задач генерации текста. Семейство Gemma 3 поддерживает текстовые и графические входы с генерацией текста, однако для вариантов 270M в карточке явно указан контекст до 32K токенов, а параметры обработки изображений для этой размерности не описаны. Заявлена поддержка более 140 языков; обучающие данные включали веб-тексты, код, математические материалы и изображения. Дата отсечения знаний — август 2024 года, размер модели — 270 млн параметров. Небольшой размер облегчает локальное развёртывание на компьютерах с ограниченными ресурсами и в собственной облачной инфраструктуре, но по возможностям и качеству модель может уступать более крупным вариантам Gemma. Для работы рекомендуется использовать temperature 1.0, top_k 64, top_p 0.95 и min_p 0.0. Модель распространяется на условиях лицензии Gemma; точные условия следует уточнять в официальных Terms of Use.

urs-rs/gemma-4-26B-A4B-it-FP8-DYNAMIC — это производственная FP8-квантизованная версия инструкционной модели google/gemma-4-26B-A4B-it, разработанная на базе Gemma 4 от Google DeepMind. Квантование выполнено с помощью llm-compressor методом oneshot() с паттерном load_context(), который корректно обрабатывает объединённую структуру MoE-экспертов Gemma 4. Модель предназначена для развёртывания через vLLM, в том числе для многоходовых диалогов и голосовых AI-сценариев. Модель имеет архитектуру Mixture-of-Experts; в идентификаторе указаны конфигурация 26B и A4B, однако подробности об архитектуре, языках, модальностях и исходном размере контекста в README не приведены. Линейные слои квантизованы в FP8 по схеме W8A8: веса используют 8-битное поканальное симметричное представление, а активации — 8-битное динамическое токен-ориентированное представление. Веса маршрутизатора, нормализационные слои и lm_head сохранены в BF16 для стабильности выбора экспертов и генерации. Размер чекпойнта составляет около 13,3 GiB, что на 47% меньше версии BF16. По заявленным результатам, потери на MMLU-Pro составляют 0,26 процентного пункта относительно BF16, а заметного ухудшения качества многоходовых диалогов не обнаружено. На H100 NVL при контексте 16K заявлена максимальная конкурентность 21,3 запроса и примерно на 80% больше параллельных вызовов при сопоставимой задержке по сравнению с BF16. Ограничения включают зависимость от совместимого окружения vLLM 0.20.2rc1+ и CUDA 12.9, а также высокие требования к оборудованию: рекомендуется NVIDIA A100 40 GB или H100 80 GB. Чекпойнт распространяется по Gemma Community License, то есть на условиях лицензии базовой модели google/gemma-4-26B-A4B-it.

ZuzeTt/GLM-4.6V-Flash-heretic-Imatrix-GGUF — пользовательская модификация мультимодальной модели GLM-4.6V-Flash, первоначально разработанной организацией zai-org. Данная версия создана AlexH с использованием Heretic 1.1.0 и не является официальным релизом zai-org. Модель предназначена для локального развертывания и приложений с низкой задержкой. Модель относится к семейству GLM-V и имеет около 9 млрд параметров. Она работает с текстом и изображениями, включая документы, скриншоты, таблицы, графики и веб-интерфейсы. Заявлена поддержка контекста до 128 тысяч токенов, мультимодального понимания документов, native Function Calling, генерации смешанного текстово-визуального контента, восстановления HTML/CSS по скриншотам и визуального редактирования. В метаданных указаны китайский и английский языки. Ключевая особенность этой версии — decensored-модификация, направленная на снижение количества отказов и повышение отклика в сложных или нестандартных сценариях. В приведённом сравнении модель отказала в 63 из 100 тестовых случаев против 100 из 100 у исходной модели; при этом README не описывает методику тестирования. Ограничения связаны с неофициальным характером модификации, возможными отличиями в поведении и отсутствием подробных данных о качестве после изменений. В качестве лицензии указана MIT.

GLM-4.7-Flash-RAZOR-24B-A3B-E48of64 — производная диалоговая модель семейства GLM, созданная Nickyang методом RAZOR: из 64 маршрутизируемых экспертов в каждом MoE-слое удалена четверть, осталось 48. Градиентного дообучения и восстановления после обрезки не проводилось; сохранены исходные веса оставшихся компонентов. По README, в контрольной точке 24,123 млрд параметров с учётом MTP, а метаданные каталога указывают 4,1 млрд параметров; эти значения расходятся, поэтому размер модели требует проверки. Архитектура использует GLM-4.7-Flash и реализацию glm4_moe_lite в Transformers; контекст — 202752 токена. Модель предназначена для диалоговой генерации текста, рассуждений и программирования с длинным контекстом. Сокращение пула экспертов уменьшает объём хранимых экспертных весов примерно на четверть, при этом README сообщает, что вычисления на токен практически не меняются. Контрольная точка хранится в bfloat16, в семи шардах safetensors; для запуска требуется сборка Transformers с нативной поддержкой glm4_moe_lite. Обрезка экспертов необратима и может менять разнообразие, форматирование и завершение ответов, даже если точность на отдельных задачах в целом сохраняется. Поведение на областях, далёких от конечного калибровочного корпуса, не охарактеризовано. Лицензия — MIT.

Hermes 2 Pro — диалоговая языковая модель Nous Research, разработанная совместно с @interstellarninja и Fireworks.AI. Это дообученная плотная модель семейства Llama 3 с 7,5 млрд параметров, основанная на NousResearch/Meta-Llama-3-8B. Она предназначена для диалогов и выполнения инструкций, а также для вызова функций и генерации структурированных ответов в JSON. Модель обучалась на обновлённом и очищенном датасете OpenHermes 2.5 и дополнительных наборах данных для вызова функций и JSON-режима. Модель использует формат диалога ChatML и поддерживает многошаговое взаимодействие с инструментами через специальный шаблон. Контекст составляет 8192 токена. В карточке указана поддержка английского языка; веса доступны в формате Safetensors. Лицензия — Llama 3 License.

Hermes-Euryale-70B — объединённая диалоговая языковая модель на базе Llama 3.1, созданная с помощью mergekit методом SLERP из NousResearch/Hermes-3-Llama-3.1-70B и Sao10K/L3.1-70B-Euryale-v2.2. Модель разработана владельцем репозитория harkov000; архитектура — плотная LlamaForCausalLM с 69,5 млрд параметров, для работы используется библиотека Transformers. Нативное контекстное окно составляет 131 072 токена. Модель предназначена для диалоговой генерации текста и поддерживает интерфейс вызова инструментов. Она объединяет характеристики двух исходных моделей; метаданные описывают Hermes 3 как англоязычную модель для инструкций, кода, длинных бесед и работы с инструментами. Файлы модели представлены в формате safetensors. Лицензия в предоставленных данных не указана.

Huihui-Qwen3.8-27B-Abliterated-INT4-W4A16-AutoRound — производная мультимодальная модель, опубликованная LeTechLead на основе Huihui-Qwen3.8-27B-abliterated и Qwen3.8-27B от Qwen. Она предназначена для генерации и понимания текста, а также обработки изображений и видео в сценариях, поддерживаемых архитектурой Qwen3.5 и установленными библиотеками Transformers или vLLM. Модель сохраняет аблированное поведение исходной версии и может использоваться для исследований, оценки и контролируемых приложений. Архитектура указана как Qwen3_5ForConditionalGeneration; текстовая часть содержит 64 слоя, скрытое представление размером 5120, словарь из 248 320 токенов и максимальный контекст до 262 144 позиций. В конфигурации предусмотрены 48 слоёв с linear attention и 16 слоёв с полной attention, MTP-путь и vision tower. Языки явно не указаны. Языковая часть и MTP-путь квантизованы методом AutoRound до INT4 в формате W4A16 с размером группы 128, тогда как vision tower сохраняет BF16. Индексированные веса представляют около 6,28 млрд параметров, размер репозитория — около 19,02 ГБ. Ключевые преимущества модели — мультимодальность, длинный контекст и снижение требований к памяти благодаря 4-битной квантизации. Ограничения включают зависимость от совместимых версий Transformers или vLLM, требований доступного оборудования и возможное ухудшение характеристик из-за квантизации. Модель может генерировать чувствительный, спорный или небезопасный контент, поэтому результаты требуют проверки. Указана лицензия Apache-2.0; пользователи несут ответственность за соблюдение законодательства, правил платформ и организационных политик.

K2-Horizon-3.7B-GGUF — набор GGUF-квантизаций модели IFM/K2-Horizon-3.7B, разработанной IFM. Это плотная decoder-only языковая модель размером 3,7 млрд параметров, предназначенная для генерации текста, рассуждений, программирования, работы с длинным контекстом и использования инструментов. Указан английский язык. Модель поддерживает нативный контекст до 524 288 токенов (512K), однако практическая производительность зависит от используемого оборудования и настроек запуска. Доступны варианты квантизации Q4_0, Q4_K_M, Q5_K_M, Q6_K и Q8_0 размером примерно от 3,02 до 5,39 ГБ. В файлы встроен совместимый с llama.cpp шаблон чата; для вызовов инструментов по умолчанию используется формат XML, также доступны JSON и xml_typed. Для запуска требуется сборка llama.cpp с поддержкой архитектуры K2 Horizon, в частности форк MBZUAI-IFM до появления поддержки в upstream-версии. К сильным сторонам относятся компактный размер, несколько вариантов квантизации и заявленная поддержка очень длинного контекста, а также сценариев программирования и tool use. Ограничения включают зависимость от специализированной реализации llama.cpp, отсутствие в README подробных результатов бенчмарков и характеристик качества, а также отсутствие сведений о мультимодальности и поддержке языков, кроме английского. Модель распространяется по лицензии Apache-2.0.

LinguaForge-BestModel-v2 — языковая модель семейства Llama, представленная пользователем dusersad12. Она предназначена для генерации текста и диалогов, решения математических и логических задач, программирования и работы в роли помощника. В README заявлены улучшения рассуждений после постобучения, снижение галлюцинаций и поддержка вызова функций; приведены результаты бенчмарков, но подробности методики и независимая проверка не описаны. Модель содержит 1,3 млрд параметров, использует архитектуру LlamaForCausalLM и доступна в формате PyTorch через Transformers. README предлагает шаблон системного промпта для чат-сценариев, а также шаблоны запросов с файлами и результатами веб-поиска. Лицензия — Apache-2.0. Карточка не сообщает контекстное окно и явно поддерживаемые естественные языки.

bunnycore/Llama-3.1-8B-TitanFusion-v3 — объединённая автором bunnycore языковая модель на архитектуре Llama 3.1, созданная с помощью mergekit методом Model Stock. В состав слияния вошли несколько моделей на базе Llama 3.1 8B, включая SuperNova Lite, Hermes 3 и варианты Aspire и Heart Stolen. Модель содержит 7,5 млрд параметров и поддерживает контекст до 131 072 токенов. Модель предназначена для генерации текста и может использоваться для диалогов и выполнения инструкций на естественном языке. В карточке приведены результаты Open LLM Leaderboard: среднее значение 24,02, IFEval — 48,10 и BBH — 32,07. Метаданные указывают библиотеку Transformers и формат safetensors. Лицензия в предоставленных данных не указана.

Llama3.1-Typhoon2-8B-Instruct — модель для выполнения инструкций, разработанная командой Typhoon AI на основе Llama 3.1 8B. Это плотная авторегрессионная модель семейства Llama с примерно 7,5 млрд параметров; метаданные указывают контекст до 131 072 токенов. Репозиторий содержит веса в формате Safetensors, а для работы требуется Transformers версии 4.45.0 или новее. Модель предназначена прежде всего для диалогов и выполнения инструкций на тайском и английском языках. Среди сценариев — ответы на вопросы, работа с длинным контекстом, вызов функций, а также задачи по математике и программированию. В приведённых авторами тестах показаны результаты для обоих языков, включая тайское переключение между языками и вызов функций. Авторы отмечают, что модель продолжает разрабатываться и может выдавать неточные, предвзятые или нежелательные ответы; встроенные защитные механизмы лишь частичны. Модель распространяется по лицензии Llama 3.1 Community License, поэтому перед использованием необходимо соблюдать её условия.

bartowski/Llama-3.2-3B-Instruct-GGUF — это квантованная в формате GGUF версия языковой модели Llama 3.2 3B Instruct, разработанной Meta и подготовленной к распространению пользователем bartowski. Модель предназначена для генерации текста и выполнения инструкций в диалоговых и прикладных сценариях, включая ответы на вопросы, помощь в написании и обработке текста, а также локальный инференс в совместимом программном обеспечении. В карточке указаны поддерживаемые языки: английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский. Модель содержит около 3 миллиардов параметров и относится к текстовым моделям; сведения о точной архитектуре, размере контекста, конкретном уровне квантования и поддержке дополнительных модальностей в карточке не приведены. Формат GGUF ориентирован на эффективный запуск и снижение требований к памяти, однако квантование может уменьшать точность по сравнению с исходными весами. Модель распространяется по лицензии Llama 3.2 Community License от Meta. При распространении материалов или производных продуктов требуется соблюдать условия лицензии, включая предоставление текста соглашения, указание «Built with Llama», сохранение атрибуции и соблюдение Acceptable Use Policy.

LwQ-30B-Instruct — инструкционно настроенная авторегрессионная языковая модель семейства Llama, разработанная prithivMLmods на базе meta-llama/Llama-3.1-8B-Instruct. В метаданных указаны 32,3 млрд параметров, архитектура LlamaForCausalLM, библиотека Transformers и контекст 2048 токенов. Модель предназначена для многоязычного диалога, следования инструкциям, математических рассуждений и решения задач с учетом контекста; также может создавать тексты, краткие изложения и ответы на вопросы. В карточке заявлено обучение на синтетических наборах данных для рассуждений и настройка для инструкционного взаимодействия. Модель принимает текст и генерирует текст; метаданные указывают английский язык, а README заявляет многоязычное применение без перечисления конкретных языков. Указанная лицензия — llama3.1. Среди ограничений отмечены возможные ошибки в сложных рассуждениях и узких темах, различия качества между языками, смещения, чувствительность к неоднозначным инструкциям и ограниченное контекстное окно.

OsaurusAI подготовила для Apple Silicon сборку JANG_6M модели Nanbeige4.2-3B — диалоговой языковой модели с архитектурой Looped Transformer. В README указаны 22 слоя, выполняемые дважды с общими весами, что даёт эффективную глубину 44 слоя; размер весов — 4,17 млрд параметров. Контекст составляет 256K токенов. Модель дообучена на базе Nanbeige/Nanbeige4.2-3B и представлена в формате MLX safetensors с 6-битными аффинными весами и 8-битным attention; метаданные указывают библиотеку MLX и лицензию Apache-2.0. Модель предназначена для диалогов, генерации текста, рассуждений и агентных сценариев с вызовом инструментов на английском и китайском языках. README приводит результаты проверки близости к исходной версии bf16 и скорости генерации на M5 Max, но они относятся к описанной аппаратной конфигурации и тестам автора. Для корректной работы требуется загрузчик, поддерживающий архитектуру Nanbeige с циклическим выполнением слоёв и 44 слотами KV-кэша; общий загрузчик или один только mlx_lm.generate без соответствующего класса модели может выдавать неверные ответы. Сборка предназначена для Apple Silicon и распространяется по лицензии Apache-2.0.

Nemotron-3.5-Lightning-Omni-30B-A3B-GGUF — мультимодальная версия NVIDIA Nemotron 3.5 Lightning, подготовленная engram-ae в формате GGUF для llama.cpp. Модель объединяет текстовую агентную основу NVIDIA Nemotron 3.5 Lightning 30B-A3B с 3B активных параметров, гибридной архитектурой Mamba-2, MoE и attention, а также контекстом до 1 млн токенов. Обучение для добавления модальностей не проводилось: использованы vision tower C-RADIO ViT-H и audio tower Parakeet FastConformer-XL из Nemotron-3-Nano-Omni, подключённые через единый мультимодальный проектор. Модель предназначена для работы с текстом, изображениями, аудио и видео, включая однопроходный анализ видео вместе с аудиодорожкой. Для видео применяются обработка кадров C-RADIO, временные патчи из двух кадров и прореживание токенов EVS. Доступны различные квантизации GGUF размером примерно от 18,7 до 35 ГБ; проектор занимает около 3 ГБ и используется со всеми вариантами. Поддерживаются сценарии локального запуска от Jetson до серверных систем и API-совместимый endpoint llama.cpp. Сильными сторонами являются широкий набор модальностей, большой контекст, агентная текстовая основа и возможность локального инференса. Видео для Nemotron требует специализированной ветки llama.cpp-omni; стандартная upstream-версия поддерживает текст, изображения и аудио, но не этот видеопуть. При совместном анализе видео и звука рекомендуется явно просить модель описать визуальную часть и транскрибировать речь, поскольку нейтральный запрос может привести к доминированию аудиоканала. Лицензия указана как openmdw-1.1.

openchat-3.5-0106-Mistral-7B-Instruct-v0.2 — диалоговая языковая модель на архитектуре Mistral, созданная объединением весов mistralai/Mistral-7B-Instruct-v0.2 и openchat/openchat-3.5-0106 методом SLERP. Модель разработана на основе открытых моделей Mistral AI и OpenChat; в репозитории представлены веса в формате safetensors. Размер составляет 7,1 млрд параметров, контекст — до 32 768 токенов. Модель предназначена для генерации текста в диалоге и выполнения инструкций: её можно использовать для ответов на вопросы, составления текстов и ведения чат-диалогов. В метаданных указаны задача text-generation и возможность chat. Лицензия — Apache-2.0. Языки модели в предоставленных данных не перечислены.

Ornith-Agents-A1-3.6-35B-A3B-MTP-GGUF — GGUF-сборка от tepirale, основанная на объединённой с помощью dare_ties модели Qwen3.5-35B-A3B с архитектурой Mixture-of-Experts. В модель встроен блок Multi-Token Prediction (MTP), заимствованный из официальной GGUF-версии Qwen3.6-35B-A3B. Доступны варианты квантования Q4_K_M, Q5_K_M, Q6_K, Q8_0 и F16 размером примерно от 20,5 до 69,4 GiB. Указан английский язык; репозиторий также содержит multimodal-проектор для сценариев image-text-to-text. Главное назначение модели — генерация текста и мультимодальные задачи с запуском через llama.cpp, включая серверное применение и обработку изображений при наличии соответствующего mmproj-файла. Встроенный MTP-блок позволяет использовать native speculative decoding без отдельной draft-модели. По данным автора, достигается около 45% принятия черновых токенов и до примерно 260 токенов в секунду на H100; фактическая скорость зависит от квантования, настроек и оборудования. В README приведены конфигурации с контекстом до 131 072 и 254 000 токенов, однако это параметры тестовых запусков, а не обязательно гарантированный максимальный контекст. Сильные стороны — несколько вариантов компромисса между качеством и требованиями к памяти, отсутствие двойного квантования и сохранение блока MTP в точности Q8_0 или F16 независимо от основной квантовки. Ограничения включают значительные требования к VRAM, необходимость сборки llama.cpp с поддержкой CUDA для заявленной производительности и зависимость от корректной поддержки MTP. Модель распространяется по лицензии Apache 2.0.