I.11Классификация, ранжирование и сопоставление

OsaurusAI подготовила для Apple Silicon сборку JANG_6M модели Nanbeige4.2-3B — диалоговой языковой модели с архитектурой Looped Transformer. В README указаны 22 слоя, выполняемые дважды с общими весами, что даёт эффективную глубину 44 слоя; размер весов — 4,17 млрд параметров. Контекст составляет 256K токенов. Модель дообучена на базе Nanbeige/Nanbeige4.2-3B и представлена в формате MLX safetensors с 6-битными аффинными весами и 8-битным attention; метаданные указывают библиотеку MLX и лицензию Apache-2.0. Модель предназначена для диалогов, генерации текста, рассуждений и агентных сценариев с вызовом инструментов на английском и китайском языках. README приводит результаты проверки близости к исходной версии bf16 и скорости генерации на M5 Max, но они относятся к описанной аппаратной конфигурации и тестам автора. Для корректной работы требуется загрузчик, поддерживающий архитектуру Nanbeige с циклическим выполнением слоёв и 44 слотами KV-кэша; общий загрузчик или один только mlx_lm.generate без соответствующего класса модели может выдавать неверные ответы. Сборка предназначена для Apple Silicon и распространяется по лицензии Apache-2.0.

Nex-N2.5-mini-Mixed-Q2Q3-128K-GGUF — неофициальная смешанная квантизация модели Nex-N2.5-mini, разработанной Nex-AGI. Сборку и квантизацию выпустил пользователь karmx для экспериментов на одной видеокарте RTX 5060 Ti с 16 ГБ памяти. Модель распространяется в формате GGUF и предназначена для запуска через llama.cpp. Модель поддерживает текстовые и визуальные сценарии при использовании отдельного vision projector, включая распознавание текста на одном изображении, структурированный tool calling и задачи программирования. В протестированной конфигурации заявлена общая длина контекста 131 072 токена, включая промпт, токены изображения и генерируемый ответ. Основной файл имеет размер около 13,32 ГБ, проектор — около 0,90 ГБ. Квантизация использует Q2_K для части routed-expert-тензоров, Q3_K для другой части, Q5_K для эмбеддингов и выходных тензоров, а также Q4_K_M для остальных тензоров; vision projector оставлен в F16. Обучение, объединение моделей и pruning не выполнялись. Сильными сторонами являются поддержка большого контекста, vision-возможностей, инструментальных вызовов и запуск на относительно компактной видеокарте. При этом это экспериментальная сборка с ограничениями качества и совместимости: в сравнении с эталонной Q5_K_M зафиксировано снижение результатов на HumanEval+ и MBPP+, а отсутствие регрессий не подтверждено. Надёжность работы с 128K-контекстом, несколькими изображениями, скорость на стандартной сборке llama.cpp и отсутствие выгрузки в CPU-память не гарантируются; проверка проводилась на конкретной версии llama.cpp, ОС, GPU и настройках. Модель распространяется по лицензии Apache-2.0. Для работы с изображениями необходимо скачать оба файла — GGUF-модель и vision projector. Это не официальный релиз Nex-AGI.

Nous Hermes 2 Llama-2 70B — языковая модель для диалоговой генерации текста, разработанная Nous Research и дообученная на наборе Hermes 2. Для обучения использовали более миллиона примеров, преимущественно созданных GPT-4, а также данные из открытых наборов. Модель основана на плотной архитектуре Llama и содержит 68,7 млрд параметров. Модель предназначена для многоходового общения и выполнения инструкций. Она использует формат запросов ChatML с ролями и специальными маркерами ходов; карточка также отмечает совместимость этого формата с интерфейсами OpenAI API. Контекст составляет 4096 токенов. Указанный язык — английский. Модель принимает текстовые запросы и генерирует текстовые ответы. Карточка приводит пример использования через Transformers и отмечает высокие требования к видеопамяти: даже в 4-битном режиме требуется более 24 ГБ VRAM. Лицензия — Apache-2.0.

NVIDIA-Nemotron-Labs-3-Elastic-30B-A3B-NVFP4 — разработанная NVIDIA эластичная языковая модель для генерации текста и диалогов. Один NVFP4-чекпойнт содержит вложенные варианты на 30B, 23B и 12B параметров; меньшие варианты можно извлечь из него без отдельного дообучения. Архитектура основана на гибридной комбинации Mamba-2, Transformer и MoE. Для вариантов 30B, 23B и 12B указано соответственно 3,6B, 2,8B и 2,0B активных параметров на токен. Модель предназначена для рассуждений и диалоговых сценариев с возможностью выбирать баланс качества и скорости инференса в зависимости от размера варианта. README сообщает о поддержке английского, немецкого, испанского, французского, итальянского и японского языков. Метаданные указывают контекст 262 144 токена; в README также описана возможность настройки более длинного контекста в vLLM. Модель представлена в формате safetensors и рассчитана на использование через Transformers и vLLM. Это квантованная NVFP4-версия эластичной модели, полученной постобучением NVIDIA-Nemotron-3-Nano-30B-A3B-BF16 с помощью Elastic framework; при квантовании применялась дистилляция с BF16-моделью в качестве учителя. README заявляет готовность к коммерческому применению, однако метаданные обозначают лицензию как other и не раскрывают её условия, поэтому перед использованием следует проверить лицензионные документы репозитория.

openchat_3.5-16k-Mistral-7B-Instruct-v0.1 — разговорная модель MaziyarPanahi, полученная слиянием Mistral-7B-Instruct-v0.1 и NurtureAI/openchat_3.5-16k методом SLERP. Она предназначена для генерации ответов на инструкции и ведения диалогов. Модель использует плотную архитектуру MistralForCausalLM и содержит 7,1 млрд параметров; заявленная длина контекста — 32 768 токенов. Репозиторий содержит веса в формате safetensors, основная возможность — чат. Модель принимает текстовые запросы и выдаёт текстовые ответы. Она подходит для чат-ботов, помощников и сценариев, где нужно обсуждать темы или отвечать на вопросы в рамках длинного контекста. Использует лицензию Apache-2.0.

Ornith-1.0-9B-1M-GGUF — это GGUF-сборка модели Ornith-1.0-9B, основанной на dense-архитектуре семейства Qwen3.5. Исходная модель разработана DeepReinforce, а данный вариант опубликован satgeze. Модель предназначена для генерации текста и локального запуска через llama.cpp, Ollama и совместимые инструменты. Ключевая особенность — контекстное окно до 1 048 576 токенов благодаря встроенному масштабированию RoPE методом YaRN; это в четыре раза больше заявленного исходного окна в 262 144 токена. В сборку также встроен слой MTP для speculative decoding, который, согласно README, может увеличить скорость декодирования в llama.cpp на 15–38%. Доступна vision-модальность через отдельный проектор mmproj, поэтому модель может обрабатывать изображения в поддерживаемых конфигурациях. Предлагаются варианты квантования от IQ2_M до bf16, включая MTP-сборки Q4_K_M и Q8_0; размер файлов варьируется примерно от 3,6 до 17,9 ГБ, а vision-проектор занимает 918 МБ. Это позволяет выбирать между требованиями к памяти и качеством, однако фактическая скорость и возможность работы с контекстом в миллион токенов зависят от оборудования и используемого рантайма. Языки обучения и поддерживаемые языки в README не указаны. Модель распространяется по лицензии MIT.

Ornith-1.5-35B-A3B-abliterated-NVFP4 — квантованная версия языковой модели Ornith-1.5-35B-A3B, разработанной ornith-ai, с изменёнными весами от pottokao. Из модели удалено направление, связанное с отказами в ответах, поэтому она не реализует стандартное защитное поведение и предназначена для исследовательских и прикладных сценариев генерации текста, где требуется меньше ограничений на содержание. Модель работает только с текстом: в сборке отсутствуют vision tower и MTP head. Это MoE-модель с заявленным размером 35B и активной частью около 3B параметров; архитектура сочетает слои линейного внимания Mamba-типа и обычного self-attention. Основная часть весов использует NVFP4 W4A16 с group size 16, отдельные проекции — FP8 W8A8, а некоторые компоненты сохранены в BF16. Поддерживается запуск через Transformers и vLLM; автор проверял работу на двух GPU RTX 5070 Ti по 16 ГБ, с контекстом до 131 072 токенов в указанной конфигурации и FP8 KV-кэшем. Для ускорения генерации предусмотрено использование speculative decoding с DFlash. К сильным сторонам относятся относительно небольшое потребление памяти для модели такого класса, возможность запуска на двух потребительских GPU, большой доступный контекст и интеграция с vLLM. Ограничения включают текстовую модальность, отсутствие защитных отказов, зависимость производительности от специализированных NVFP4/FP8-ядер и настроек vLLM, а также ограниченный бюджет KV-кэша при нескольких параллельных запросах. Модель распространяется по лицензии MIT; лицензия включённых компонентов и черновой модели DFlash может регулироваться отдельно.

PaddleOCR-VL-1.6 GGUF — мультимодальная модель для преобразования изображений и текста в текст, предназначенная прежде всего для интеллектуального распознавания и разбора документов. Модель разработана командой PaddlePaddle как развитие PaddleOCR-VL-1.5 и ориентирована на OCR, извлечение структуры документа, анализ макета, таблиц, формул, графиков, печатей и обнаружение отдельных элементов на изображении. В репозитории представлена GGUF-версия модели, сгенерированная с использованием llama.cpp. В README не указаны точный размер модели, архитектура, длина контекста и конкретные параметры квантования. Заявлена поддержка английского, китайского и других многоязычных сценариев. Модель может быть полезна для автоматической обработки сканированных документов, счетов, отчетов и других визуально сложных материалов, где требуется не только распознать текст, но и сохранить сведения о структуре и расположении элементов. К сильным сторонам относятся мультимодальный анализ документов и широкий набор поддерживаемых типов содержимого. Ограничения и результаты сравнительных тестов в карточке не приведены, поэтому качество на конкретных языках, форматах документов и аппаратных конфигурациях следует проверять отдельно. Модель распространяется по лицензии Apache-2.0.

MaziyarPanahi/phi-4-GGUF — это набор квантизированных файлов модели microsoft/phi-4 в формате GGUF. Исходную модель разработала Microsoft, а квантизированные варианты подготовил MaziyarPanahi. Модель предназначена для генерации текста и локального запуска в совместимых инструментах и библиотеках, включая llama.cpp, llama-cpp-python, LM Studio, text-generation-webui и другие приложения с поддержкой GGUF. В репозитории представлены варианты квантизации с разрядностью от 2 до 8 бит, что позволяет выбирать компромисс между размером файла, требованиями к памяти и качеством генерации. Формат GGUF ориентирован на эффективный инференс, в том числе с ускорением на GPU, однако конкретные архитектурные характеристики, размер модели, длина контекста, поддерживаемые языки и модальности в README не указаны. Основные преимущества — возможность локального использования и широкий выбор уровней квантизации. Ограничения связаны с потенциальной потерей качества по сравнению с исходной моделью при использовании низкой разрядности, а также с тем, что совместимость и производительность зависят от выбранного клиента и аппаратного обеспечения. Лицензия в предоставленных данных не указана.

stefancosma/Qwen3-14B-Instruct-Q4_K_M-GGUF — это квантованная версия языковой модели OpenPipe/Qwen3-14B-Instruct, преобразованная в формат GGUF с использованием llama.cpp и проекта GGUF-my-repo. Модель предназначена для генерации текста и диалоговых сценариев, включая запуск локально через llama.cpp в режиме командной строки или серверном режиме. Модель содержит около 14 миллиардов параметров и использует квантование Q4_K_M, что уменьшает требования к памяти по сравнению с полноразмерными весами, но может сопровождаться некоторой потерей точности. Это текстовая модель без заявленной поддержки изображений или других модальностей. В README не указаны поддерживаемые языки, максимальная длина контекста, результаты оценивания или специализированные сценарии применения. Для работы требуется совместимое окружение llama.cpp; поддерживаются запуск через CLI и сервер, а также аппаратные варианты сборки, включая CUDA для GPU Nvidia. Модель распространяется по лицензии Apache 2.0. Подробные характеристики и ограничения исходной модели следует уточнять в карточке OpenPipe/Qwen3-14B-Instruct.

mlx-community/Qwen3-4B-Thinking-2507-4bit — это 4-битная квантованная версия языковой модели Qwen3-4B-Thinking-2507, преобразованная сообществом mlx-community в формат MLX с использованием mlx-lm 0.26.2. Исходная модель опубликована организацией Qwen. Модель относится к классу text-generation и предназначена для генерации текста и диалогового взаимодействия. Модель рассчитана на запуск через библиотеку mlx-lm, включая загрузку токенизатора и применение chat template для диалоговых запросов. Из README известно, что она использует формат MLX и имеет размер исходной модели 4B параметров; применяется 4-битное представление. Сведения о поддерживаемых языках, длине контекста, точной архитектуре и мультимодальных возможностях не указаны, поэтому модель следует рассматривать как текстовую. Ключевое преимущество — адаптация к экосистеме MLX и уменьшенное 4-битное представление, что может снизить требования к памяти при локальном запуске. Ограничения README не описывает: отсутствуют данные о качестве, производительности, скорости, специализации модели и известных рисках. Лицензия — Apache-2.0.

trymirai/Qwen3.5-4B-M — это средний по размеру 4-битный вариант модели Qwen3.5-4B, подготовленный Mirai Labs для эффективного локального запуска на компьютерах Apple с Apple silicon. Модель предназначена для генерации текста и унаследовала архитектуру, назначение, языки, модальности и другие базовые свойства оригинальной Qwen3.5-4B, однако в представленном README их подробные характеристики не указаны. Квантизация выполнена с использованием 4-битного асимметричного целочисленного представления, 4-битных zero points, масштабов bfloat16 и размера группы 32. Для уменьшения выбросов активаций и весов применяются блочно-диагональные Random Hadamard Transforms; после посттренировочной квантизации использовалась дистилляция с учётом квантизации. По заявлению разработчиков, чекпойнт находится на компромиссном фронте между размером и KL-дивергенцией, то есть сочетает уменьшенный размер с сохранением качества. Основное преимущество модели — возможность более эффективного локального вывода на Apple silicon при меньших требованиях к памяти по сравнению с исходной моделью. Ограничение состоит в том, что в README заявлена поддержка только Apple silicon; характеристики производительности и качества для других платформ не приведены. Для запуска предлагается пакет mirai для macOS или сборка из исходного кода. Модель распространяется по лицензии Apache-2.0.

Cyronius создал Qwen3.6-27B-A2.8B — производную модель Qwen3.6-35B-A3B для диалоговой генерации текста и вызова инструментов на CPU и встроенной графике. Разработчик удалил 10 из 40 слоёв базовой модели, дообучил оставшуюся модель с помощью LoRA для восстановления качества и подготовил сборки GGUF; в репозитории также указаны файлы safetensors. В модели 26,2 млрд параметров, из которых активно 2,83 млрд на токен, и 30 слоёв. В GGUF-сборках сохранена голова MTP для спекулятивного декодирования через llama.cpp. Модель рассчитана на быстрый локальный запуск на оборудовании с общей памятью без дискретной видеокарты. Доступны сбалансированная сборка Q4_K_M и более компактная IQ3_S для экспертов с Q4_K для выходного слоя; последняя быстрее и меньше, но может уступать в точности. В тестах авторов сбалансированная сборка показала хорошие результаты на вызове инструментов, однако точность GSM8K и perplexity уступают базовой модели. Проверка проводилась на небольших внутренних наборах и может не отражать качество на других задачах. Лицензия — Apache-2.0.

Qwen3.6-35B-A3B-REAM-192-heretic-APEX-GGUF — предварительная серия смешанных по точности GGUF-квантизаций модели keithnull/Qwen3.6-35B-A3B-REAM-192-heretic, основанной на архитектуре Qwen3.6 и разработанной сообществом вокруг Qwen. Модель распространяется в формате, совместимом с llama.cpp, и использует APEX (Adaptive Precision for EXpert Models) для MoE-aware квантизации экспертных слоёв. Доступны варианты размером примерно 12–19 ГБ с эффективной точностью около 3,80–5,91 BPW. Названия файлов с суффиксами Q3_K или Q5_K являются только подсказкой для каталогов и не отражают единственный тип квантизации: внутри используются комбинации K- и IQ-форматов, включая Q3_K, Q4_K, Q5_K, Q6_K, IQ2_S, IQ4_XS и Q8_0. Модель предназначена для локального текстового диалога и генерации текста, а также может использовать изображения при подключении совместимого vision-проектора mmproj-REAP-26B-F16.gguf через llama-server и OpenAI-совместимый chat-completions API. Архитектура сохраняет vision tower Qwen3.6-VL, совместимые скрытое пространство и токенизатор, однако опубликованные GGUF-файлы содержат только текстовые веса. Вариант Mini рассчитан на видеокарты с 16 ГБ VRAM, а I-Compact позиционируется как вариант для повседневного использования в классе размера стандартной Q4_K_M. Сильные стороны серии — MoE-ориентированная смешанная точность, наличие вариантов с imatrix-калибровкой и разные компромиссы между качеством, размером и скоростью декодирования. При этом релиз является preview: для этой APEX-рецептуры ещё не опубликованы измерения perplexity, KL-divergence и академических бенчмарков; проверка ограничивалась оценкой Heretic, качественной проверкой пяти промптов на BF16-весах и базовыми тестами связности генерации. Модель распространяется по лицензии Apache-2.0.

LuffyTheFox/Qwen3.6-35B-A3B-Uncensored-Genesis-Final-GGUF — мультимодальная модель в формате GGUF, основанная на HauhauCS/Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive. Модель разработана автором LuffyTheFox с применением метода Genesis — посттренировочной числовой коррекции тензоров без дополнительного обучения или тонкой настройки. В README также упоминается исходная разработка Qwen и Tongyi Lab Alibaba Group. Модель предназначена для диалоговых сценариев, генерации текста, задач программирования и работы с изображениями благодаря заявленной поддержке vision и pipeline image-text-to-text. Указана архитектура MoE с 35 млрд параметров и 3 млрд активных параметров, однако размер контекста в README не приведён. Заявлены английский, китайский и мультиязычный режимы работы. Доступны режимы с рассуждением и без него, а также рекомендации по настройкам генерации и запуску на GPU. К заявленным сильным сторонам относятся отсутствие отказов в указанном тесте из 465 запросов, повышенная стабильность, ясность контекста и следование инструкциям после коррекции тензоров. При этом модель позиционируется как uncensored, поэтому может не применять стандартные ограничения безопасности. Фактическое качество, устойчивость, требования к памяти и поддержка конкретных мультимодальных сценариев зависят от выбранной квантизации и среды запуска. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-20B-Minitron — экспериментальная производная модель exnivo на базе Qwen/Qwen3.8-27B. Это плотная мультимодальная модель с архитектурой Qwen3.5 и классом Qwen3_5ForConditionalGeneration, принимающая текст и изображения и предназначенная для диалогов и генерации ответов по визуальному содержимому. Модель уменьшена структурным удалением слоёв: число языковых слоёв сокращено с 64 до 44, а размер — с 27,357 до 19,746 млрд параметров; это не квантизация. После удаления слоёв модель восстанавливали дистилляцией по логитам исходной модели, обучением на текстовых, учебных, математических и кодовых данных, а также корректировкой с помощью LoRA с последующим слиянием адаптера в веса. Разработчик приводит результаты собственных проверок, но они не являются стандартизованными бенчмарками. Модель распространяется в формате safetensors под лицензией Apache-2.0. Качество и устойчивость могут уступать исходной модели; особенно отмечена слабость в рассуждениях о последовательностях и шаблонах, а также ошибки при необычных формулировках. Восстановление и оценка были сосредоточены главным образом на тексте, поэтому возможности сохранённой визуальной части проверены ограниченно.

Qwen3.8-27B-Bonsai-MLX-3bit — 27-миллиардная плотная языковая модель семейства Qwen3.5, подготовленная Hermes Agent на основе Ternary-Bonsai-2 от Prism ML. Это 3-битная квантизированная версия для генерации текста и диалогов, включая сценарии с вызовом инструментов. Метод folded quantization переносит Hadamard-преобразование из инференса в веса, чтобы модель запускалась в стандартных mlx-lm и oMLX без пользовательских ядер и специального рантайма. Модель предназначена для локального запуска на системах Apple Silicon, ответов на запросы, рассуждений и агентных сценариев. В README заявлено оценочное качество около 93–95% от FP16 и размер 12,8 ГБ; стандартные бенчмарки ещё не проводились. Репозиторий распространяется по лицензии Apache-2.0. README описывает производную от квантованной модели PrismML, поэтому исходная квантизация и ограничения базовой Qwen3.8-27B могут влиять на качество.

Foresee/Qwen3.8-9B-heretic-uncensored-4bit-MTPLX — локальная 4-битная сборка модели rohit267/Qwen3.8-9B-heretic-uncensored для генерации текста. Она предназначена для запуска на компьютерах Apple Silicon с использованием MLX и ускорения вывода посредством спекулятивного декодирования MTPLX. Модель предоставляет совместимость с API OpenAI /v1/chat/completions и Anthropic /v1/messages, поэтому может использоваться в локальных чат-приложениях, инструментах программирования и других сценариях текстовой генерации. В состав входят 4-битная MLX-модель с группами квантования 64 и размером около 5 ГБ, отдельная MTP-голова, а также LoRA-адаптер ранга 64, объединяемый при загрузке. Указано, что модель относится к 9B-линейке Qwen, использует гибридную архитектуру с GatedDeltaNet и поддерживает английский язык. Контекст модели и полный перечень языков в README не указаны. На тесте с MacBook на M5 и 24 ГБ памяти скорость декодирования выросла с 21,25 до 40,05 токена в секунду; проверка спекулятивных токенов выполняется без потери точности относительно квантованной целевой модели. Основные ограничения — требование macOS 14 или новее, Apple Silicon, MLX и рантайма MTPLX; ускоренный MTP-путь специфичен для MTPLX. Квантование изменяет веса модели, хотя сама процедура спекулятивной проверки является точной. Модель всегда начинает ответ с блока <think>, что следует учитывать при расчёте бюджета токенов. Лицензия Apache-2.0, унаследованная от базовой модели Qwen3.5-9B.

Qwen3.8-Flash-Next-ANE — пакет гибридного инференса модели Qwen3.8-Flash-Next от True2456 для компьютеров Apple Silicon. Модель дообучена на базе Qwen/Qwen3.8-Flash-Next; в README описаны 36 слоёв Gated DeltaNet и 12 слоёв Qwen Sparse Attention, исполняемые на Apple Neural Engine, и разрежённые MoE-эксперты, работающие через MLX на GPU. Веса языковой модели хранятся в 4-битном формате, а для ускорения декодирования применяются спекулятивная генерация и таблицы n-грамм. Пакет предназначен для диалогов, генерации текста и агентных сценариев, включая работу через OpenAI-совместимый API и интерфейс вызова инструментов. Автор сообщает о тестировании на Mac с M5 Max и 96 или 128 ГБ объединённой памяти; README приводит результаты производительности и тестов качества для этой конфигурации. Это не полностью исполняемая на ANE модель: часть вычислений выполняется на GPU и CPU. Лицензия указана как other, поэтому условия использования следует проверять на странице репозитория.

Qwen1.5-32B-Chat GGUF — набор квантизированных версий диалоговой языковой модели Qwen/Qwen1.5-32B-Chat, разработанный сообществом Featherless AI Quants. Модель предназначена для генерации текста и ведения диалогов; формат GGUF подходит для локального запуска и совместимых инструментов инференса, поддерживающих этот формат. В набор входят варианты квантизации IQ4_XS, Q2_K, Q3_K_L, Q3_K_M, Q3_K_S, Q4_K_M, Q4_K_S, Q5_K_M, Q5_K_S, Q6_K и Q8_0. Размеры файлов или наборов файлов составляют примерно от 11,7 до 33,0 ГБ, что позволяет выбирать компромисс между требованиями к памяти и сохранением качества. Модель относится к текстовой модальности; сведения о языках, архитектуре, размере контекста, результатах оценки и конкретных сценариях применения в README не указаны. Сильной стороной является наличие нескольких уровней квантизации для адаптации запуска под доступные аппаратные ресурсы. Ограничения включают значительные требования к памяти даже для наиболее компактных вариантов, а также возможные потери качества из-за квантизации. Лицензия в представленном README не указана.

Qwen_Qwen3-30B-A3B-Instruct-2507-GGUF — это набор GGUF-квантизаций языковой модели Qwen3-30B-A3B-Instruct-2507, разработанной Qwen и подготовленной для llama.cpp пользователем bartowski. Модель предназначена для генерации текста и диалоговых сценариев, включая локальный запуск через llama.cpp, LM Studio и совместимые проекты. Для взаимодействия используется шаблон prompt формата ChatML с ролями system, user и assistant. Модель имеет архитектуру Mixture-of-Experts с общим размером 30B параметров и 3B активных параметров, однако README не содержит сведений о поддерживаемых языках, длине контекста и мультимодальности. Доступны варианты от BF16 до низкобитных квантизаций Q8, Q6, Q5, Q4, Q3 и IQ, с размерами файлов примерно от 13 до 61 ГБ. Более качественные варианты требуют больше памяти, а малые квантизации предназначены для систем с ограниченными ресурсами и могут заметно уступать в качестве. Сильной стороной является широкий выбор квантизаций, включая варианты с imatrix, позволяющие подобрать баланс между качеством, размером и скоростью локального вывода; варианты Q6_K и Q6_K_L отмечены как близкие к исходному качеству, а Q4_K_M — как оптимальный вариант для большинства сценариев. Ограничения связаны с высокими требованиями к оперативной памяти даже у компактных вариантов и возможной потерей качества при использовании низких разрядностей. Лицензия в представленном README не указана.

Alcoft/Qwen_Qwen3-4B-GGUF — это набор GGUF-квантизованных версий языковой модели Qwen3-4B, разработанной командой Qwen. Репозиторий подготовлен пользователем Alcoft с использованием TAO71-AI AutoQuantizer; исходная модель доступна в репозитории Qwen/Qwen3-4B. Модель предназначена для генерации текста и локального запуска в совместимых с GGUF приложениях. Доступны варианты квантизации от Q2_K до Q8_0, а также F16 и исходный BF16. Размер файлов составляет примерно от 1,55 до 7,5 ГБ. Для большинства сценариев автор рекомендует варианты Q4_K–Q8_0: Q4_K_M и Q4_K_L дают приемлемое качество при умеренном размере, Q5_K и Q6_K обеспечивают высокое и очень высокое качество, а Q8_0 приближается к качеству F16. Варианты Q2 и Q3 характеризуются низким качеством и в README не рекомендуются. В README не указаны архитектурные подробности, максимальная длина контекста, поддерживаемые языки, дополнительные модальности, конкретные сценарии применения или сравнительные результаты. Лицензия также не указана, поэтому условия использования следует уточнять по карточке исходной модели Qwen3-4B и репозиторию конвертированных файлов.

Это квантованные версии модели Qwen3.5-122B-A10B от Qwen, подготовленные bartowski в формате GGUF для запуска через llama.cpp и совместимые инструменты. Модель предназначена для задач генерации текста и обработки изображений с текстом, однако README не содержит подробного описания поддерживаемых сценариев, языков или возможностей мультимодального ввода. Основой служит модель с заявленным размером 122B и обозначением A10B; точная архитектура, размер контекста и перечень модальностей в README не раскрыты. Доступны варианты квантования от Q8_0 до Q3_K и IQ3/IQ4, размером примерно от 59 до 133 ГБ. Более высокие уровни квантования обеспечивают лучшее сохранение качества, а менее точные варианты требуют меньше оперативной памяти. Квантование выполнено с использованием imatrix и llama.cpp; также добавлена поддержка MTP-слоёв при использовании совместимой версии llama.cpp и параметра draft-mtp. Модели можно запускать через llama.cpp, ramalama, LM Studio, koboldcpp, Jan AI, Text Generation Web UI и LoLLMs. Рекомендуемый шаблон запросов использует формат Qwen с разделителями ролей и секцией <think>. Распространение указано по лицензии Apache-2.0. Ограничения включают высокие требования к памяти, зависимость от поддержки модели в конкретном инструменте и снижение качества при выборе более агрессивного квантования.

Raptor 0.6 — это лёгкая supervised fine-tune модели XHToken/Spark-X2.5-4B, подготовленная Jinho Jang для Osaurus. Модель использует плотную архитектуру Spark2_5ForCausalLM с 36 слоями и примерно 3,8 млрд параметров; она предназначена для диалога, рассуждений и работы с инструментами. Репозиторий содержит веса в формате safetensors, а конфигурация JANG_6M задаёт смешанную точность: внимание и связанные эмбеддинги — 8-битные, MLP — 6-битный, масштабы групп — bfloat16, нормализации и attention gate — полной точности. Указанное базовой моделью окно контекста — до 1 048 576 токенов. Модель рассчитана на запуск в Osaurus на Apple Silicon и требует Osaurus версии 0.25.0 или новее. Шаблон поддерживает диалог с включённым по умолчанию режимом рассуждений и вызовами инструментов; карточка сообщает о калибровке и оценке на наборах промптов, но не устанавливает универсальное качество для всех сценариев. README предупреждает, что это практический чекпойнт с обычными для модели 4B ошибками; длинные рассуждения могут превышать 8 192 выходных токена. Лицензия — Apache-2.0.

Rhombus18 Rhododendron Professor 1o — дообученная языковая модель семейства Qwen3, разработанная пользователем rhombus18 на основе unsloth/qwen3-32b-bnb-4bit. Модель имеет плотную архитектуру Qwen3ForCausalLM и содержит 29,7 млрд параметров. Карточка указывает обучение с помощью Unsloth и библиотеки TRL от Hugging Face; репозиторий содержит веса в формате safetensors. Модель предназначена для генерации текста и диалогового взаимодействия; метаданные также отмечают интерфейс вызова инструментов. Она поддерживает английский язык и контекст длиной до 128 000 токенов. В README не описаны специализированные области применения или результаты оценки качества, поэтому пригодность для конкретных задач следует проверять отдельно. Лицензия — Apache 2.0.

Starling-LM-11B-alpha-Mistral-7B-Instruct-v0.1 — объединённая чат-модель на архитектуре Mistral, созданная слиянием mistralai/Mistral-7B-Instruct-v0.1 и Delcos/Starling-LM-11B-alpha методом SLERP. Модель содержит 7,1 млрд параметров и предназначена для генерации текста в ответ на инструкции и диалоговые запросы. Модель принимает текст и выдаёт текст; заявленная длина контекста — 32 768 токенов. В метаданных указан английский язык. Репозиторий содержит веса в формате safetensors. Лицензия — Apache-2.0.

Starling-LM-11B-alpha-Mistral-7B-Instruct-v0.2-slerp — диалоговая языковая модель, созданная слиянием Mistral-7B-Instruct-v0.2 от Mistral AI и Delcos/Starling-LM-11B-alpha методом SLERP с помощью mergekit. Модель построена на архитектуре MistralForCausalLM, содержит 7,1 млрд параметров и рассчитана на контекст до 32 768 токенов. Модель предназначена для генерации текста в диалоге и ответов на инструкции. Её можно применять для чат-ботов и интерактивных текстовых помощников. Репозиторий содержит веса в формате safetensors; лицензия — Apache-2.0. Метаданные указывают на поддержку чата, но языки в предоставленных данных не перечислены.

Tarek07_Legion-V2.1-LLaMa-70B-GGUF — это набор GGUF-квантизаций текстовой генеративной модели Legion-V2.1-LLaMa-70B, разработанной Tarek07. Квантизации подготовлены bartowski с использованием llama.cpp и метода imatrix; исходная модель доступна как Tarek07/Legion-V2.1-LLaMa-70B. Модель предназначена для генерации текста и может запускаться локально через llama.cpp, LM Studio и другие совместимые проекты. Доступны варианты с разным уровнем сжатия и качеством: от Q8_0 размером около 75 ГБ до Q2_K размером около 26 ГБ. Рекомендуемыми указаны, в частности, Q6_K, Q5_K_M, Q5_K_S, Q4_K_M, Q4_K_S и IQ4_XS; варианты с более низкой разрядностью требуют меньше оперативной памяти, но снижают качество. Известно, что модель имеет размер 70 миллиардов параметров и работает в текстовой модальности. Архитектура, поддерживаемые языки и размер контекстного окна в предоставленных данных не указаны. Для работы следует использовать формат подсказок, совместимый с шаблоном Llama 3.3, с секциями system, user и assistant. Лицензия указана как llama3.3; дополнительные условия исходной модели в README не приведены.

YamshadowInex12_T3qm7xPercival_01 — объединённая модель Mistral для генерации текста и диалогов. Она создана слиянием automerger/YamshadowInex12-7B и automerger/T3qm7xPercival_01-7B и содержит 7,1 млрд параметров. Модель принимает текст и выдаёт текст; её контекст составляет до 32 768 токенов. Репозиторий содержит веса в формате safetensors. Модель опубликована по лицензии Apache 2.0.

adamo1139/Yi-34B-200K-XLCTX — зеркало модели Yi-34B-200K (XLCTX), первоначально выпущенной 01.AI. Версия настроена для улучшенного поиска информации в длинном контексте по тесту «игла в стоге сена»; её можно использовать как базу для слияния с LoRA-адаптерами. Это плотная авторегрессионная языковая модель семейства Llama с 33,9 млрд параметров, принимающая текст и поддерживающая контекст до 200 000 токенов. Модель предназначена для генерации текста и сценариев, где нужно находить сведения в длинных текстовых последовательностях. Репозиторий содержит веса в формате safetensors. Указана лицензия Apache-2.0. Карточка не сообщает о языковом охвате и конкретных результатах оценки качества, поэтому их нельзя уверенно описать.