I.11Классификация, ранжирование и сопоставление

Карточка модели OpenBuddy/openbuddy-qwen1.5-32b-v21.2-32k на Hugging Face совпадает с карточкой OpenBuddy/openbuddy-qwen1.5-32b-v21.1-32k, поэтому описание составлено по ней. OpenBuddy-Qwen1.5-32B-v21.1-32k — мног языковая диалоговая модель OpenBuddy на архитектуре Qwen2 с плотной трансформерной сетью и 31,7 млрд параметров. Она предназначена для общения и генерации ответов на запросы; поддерживает контекст до 32 768 токенов и работает с текстом на китайском, английском, французском, немецком, японском, корейском, итальянском, русском и финском языках. Модель можно применять для диалоговых помощников, ответов на вопросы и составления текстов на поддерживаемых языках. Для работы рекомендуется быстрый токенизатор Transformers; README также отмечает совместимость формата промптов с vLLM для развёртывания API. Модель распространяется по лицензии с обозначением «other»; README приводит предупреждение об ошибочных или нежелательных ответах и предостерегает от использования в критичных и высокорисковых сценариях.

OpenBuddy/openbuddy-qwq-32b-v24.1-200k — дообученная диалоговая языковая модель OpenBuddy на архитектуре Qwen2, основанная на Qwen/QwQ-32B-Preview. Модель содержит 32 млрд параметров и рассчитана на контекст до 200 000 токенов; она принимает текст и генерирует текстовые ответы в формате чат-бота. Модель предназначена для многоязычного общения и генерации текста. Карточка указывает поддержку китайского, английского, французского, немецкого, японского, корейского, итальянского и финского языков. Лицензия — Apache 2.0. Для работы с форматом подсказок рекомендуется быстрый токенизатор Transformers; карточка также упоминает развёртывание через vLLM. Модель может выдавать ошибочные, вредные или оскорбительные ответы. Её не следует применять для критических решений в медицине, финансах и праве, а также для управления потенциально опасным программным или аппаратным обеспечением.

openchat-3.6-8b-20240522-IMat-GGUF — это квантизированная версия языковой модели openchat/openchat-3.6-8b-20240522, подготовленная legraphista в формате GGUF с использованием llama.cpp. Модель предназначена для генерации текста и диалоговых сценариев, включая локальный запуск через совместимые инструменты llama.cpp. Исходная модель имеет формат BF16 и около 8 миллиардов параметров. Репозиторий предоставляет варианты с разными уровнями квантования — от Q8_0 и Q6_K до Q2_K, а также IQ-кванты. Для ряда вариантов применена IMatrix-квантизация, призванная сохранять качество при уменьшении размера модели; доступны файлы объёмом примерно от 2,99 до 16,07 ГБ. Это позволяет выбирать баланс между требованиями к памяти, скоростью работы и точностью. Модель работает только с текстом; сведения о поддерживаемых языках и размере контекстного окна в README не указаны. Основные ограничения связаны с потерями качества, возможными при низких уровнях квантования, а также с зависимостью производительности от аппаратного обеспечения и используемого рантайма. Указанная лицензия — llama3. Квантизация выполнена на основе llama.cpp версии b3006; автором квантизированных файлов указан legraphista.

OrionStar Yi 34B Chat Llama — это диалоговая языковая модель OrionStarAI, представленная в формате GGUF и квантизированная TheBloke. Модель основана на архитектуре Yi, имеет 34 млрд параметров и предназначена для генерации текста и ведения диалогов. Исходная модель доступна в формате PyTorch fp16, а данный репозиторий содержит варианты GGUFv2 с разной разрядностью квантования — от 2 до 8 бит. Модель ориентирована на чат-сценарии, ответы на запросы и общее текстовое взаимодействие. В README приведён шаблон промпта Human: {prompt} Assistant:, а также пример диалога на китайском языке. Поддержка других языков, размер контекста и дополнительные модальности в доступных данных не указаны; модель описана как текстовая и относится к задаче text-generation. GGUF-файлы совместимы с llama.cpp и рядом сторонних интерфейсов и библиотек, включая text-generation-webui, KoboldCpp, LM Studio, llama-cpp-python и ctransformers, что позволяет запускать модель локально с использованием CPU и GPU. Разные уровни квантования дают выбор между требованиями к памяти, скоростью и сохранением качества, однако конкретные показатели качества и ограничения вариантов в README не приведены. Модель распространяется по лицензии yi-license; тип лицензии указан как other, с отдельным файлом LICENSE.

Ornith-1.5-9B-Omni-GGUF — мультимодальный набор моделей, опубликованный cudabenchmarktest в формате GGUF и предназначенный для запуска через Ollama вместе с адаптером Robit. В состав входят текстовая модель Ornith 1.5 9B с пониманием изображений, инструментами и опциональным режимом рассуждений, граф Qwen3-Omni для анализа аудио, изображений и видео, а также Qwen3-TTS для синтеза речи. Компоненты работают как отдельные графы, связанные семантическим адаптером. Набор поддерживает генерацию текста и речи, распознавание речи, интерпретацию окружающих звуков, понимание изображений и анализ выбранных кадров видео. Основной GGUF-файл является контейнером sidecar с шестью представлениями моделей и проекторов, а не самостоятельной стандартной моделью Ollama. Текстовые функции и понимание изображений запускаются через стандартный Ollama; для аудио, видео и синтеза речи требуется адаптер Robit с закреплённой версией llama.cpp. Генерация видео не поддерживается. В метаданных указан формат GGUF и лицензия «other»; конкретные условия лицензии следует сверить с опубликованными уведомлениями и источниками компонентов. README предупреждает, что мультимедийные данные, транскрипты, OCR, подписи и результаты инструментов следует считать недоверенным вводом.

pansophic-1-preview — экспериментальная разговорная языковая модель, разработанная Pansophic и дообученная на базе Meta Llama 3.1 8B. Модель содержит около 7,5 млрд параметров, использует плотную архитектуру LlamaForCausalLM и формат диалогов ChatML; заявленная длина контекста — 131 072 токена. Модель предназначена для генерации ответов на инструкции на румынском и английском языках. Карточка также описывает следование системным инструкциям, использование внешних инструментов и ответы с опорой на предоставленный контекст, поэтому её можно применять в чат-ботах, прототипах агентов и вопросно-ответных сценариях по документам. Для запуска используется Transformers, веса опубликованы в формате safetensors. Модель дообучена с применением APO-ZERO; доступна по лицензии llama3.1. Она может выдавать ошибочные или бессвязные ответы, особенно на сложные и тонкие вопросы, поэтому не подходит для критически важных решений без дополнительной проверки.

PerceptionDLM-Base — мультимодальная диффузионная языковая модель для понимания изображений и ответов на визуальные инструкции, разработанная MSALab. Она дообучена на базе MSALab/LLaDA-8B-Instruct-HF и предназначена для сценариев, где нужно задавать вопросы об изображении или извлекать из него сведения. Архитектура сочетает визуальный энкодер SigLIP-2, двухслойный MLP-коннектор и диффузионный декодер LLaDA-8B. Модель использует параллельную генерацию с маскированным денойзингом и динамическое разбиение изображений высокого разрешения на тайлы. Карточка сообщает о результатах на мультимодальных бенчмарках, включая сильные показатели в задачах детального восприятия и ChartQA. Модель принимает изображения и текстовые инструкции и генерирует текстовые ответы. В метаданных указан английский язык. Весы опубликованы в формате Safetensors, библиотека — Transformers, лицензия — Apache-2.0. Модель описана как базовая для PerceptionDLM; для развёртывания предоставлены скрипты инференса.

Pirouette-7b — текстовая генеративная модель на архитектуре Mistral, созданная автором репозитория ddh0 путём градиентного слияния SLERP моделей dolphin-2.1-mistral-7b и Noromaid-v0.1.1-13b. По замыслу автора, модель сохраняет основную часть возможностей Dolphin и добавляет некоторые особенности Noromaid. Модель предназначена для диалогов и выполнения инструкций в формате Alpaca. В карточке заявлена длина контекста 32 768 токенов; метаданные указывают 7,1 млрд параметров. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

CEIA-POSITIVO/Qwen-1.7B-capado — компактная языковая модель для генерации текста и диалогового взаимодействия, опубликованная в репозитории CEIA-POSITIVO на Hugging Face. По метаданным она относится к семейству Qwen3, использует библиотеку Transformers и содержит около 1,6 млрд параметров. Модель предназначена для продолжения и генерации текста, создания ответов в чатах, прототипирования conversational-приложений и локального запуска задач, не требующих крупной модели. Она поддерживает контекст длиной до 40 960 токенов и распространяется в формате safetensors. README не содержит сведений о разработчике, лицензии, языках обучения, процедуре дообучения, оценивании или специальных предметных областях. Поэтому модель следует рассматривать как универсальную генеративную модель с неполностью документированными характеристиками; перед использованием в продуктивных или чувствительных сценариях необходимы самостоятельные проверки качества, безопасности и соблюдения условий лицензии.

Qwen2.5-3B-Instruct-GGUF — квантованная GGUF-версия языковой модели Qwen2.5-3B-Instruct, разработанной Qwen и подготовленной Second State Inc. Модель предназначена для генерации текста и диалоговых сценариев, включая чат-приложения и развёртывание как локального или серверного сервиса через LlamaEdge. Указан английский язык; модальность — текстовая. Модель содержит около 3 млрд параметров и использует шаблон запросов ChatML. Максимальный размер контекста в конфигурации LlamaEdge составляет 32 000 токенов. Доступны варианты квантования от 2 до 8 бит, f16 и несколько схем GGUF; рекомендуемыми в README названы Q4_K_M, Q5_K_M и Q5_K_S. Квантование уменьшает требования к памяти, однако низкобитные варианты могут заметно терять в качестве, тогда как f16 занимает около 3,09 ГБ. Сильными сторонами модели являются компактный размер, широкий выбор уровней квантования и возможность запуска через LlamaEdge версии 0.14.3 и выше. README не приводит результатов оценки, сведений об архитектуре, кроме формата GGUF и совместимости с LlamaEdge, а также не описывает дополнительные языки или мультимодальные возможности. Модель распространяется по лицензии qwen-research; условия следует уточнять в указанном лицензионном документе Qwen.

bunnycore/Qwen-2.5-3b-RP — чат-модель на архитектуре Qwen2, созданная автором репозитория слиянием весов через mergekit методом DARE TIES. В слияние вошли Replete-AI/Replete-LLM-V2.5-Qwen-3b, unsloth/Qwen2.5-3B-Instruct и bunnycore/qwen-2.5-3b-lora_model; в README базовой моделью назван Replete-AI/Replete-LLM-V2.5-Qwen-3b. Модель содержит 3,1 млрд параметров, использует формат safetensors и поддерживает контекст до 32 768 токенов. Модель предназначена для диалоговой генерации текста и ответов на запросы; метаданные также указывают интерфейс вызова инструментов. Карточка не описывает отдельную специализацию, языковое покрытие или оценку качества. Лицензия в предоставленных данных не указана.

Qwen3-30B-A3B-MLX-4bit — это преобразованная в формат MLX версия языковой модели Qwen3-30B-A3B. Модель разработана командой Qwen, а конвертацию выполнило сообщество lmstudio-community с использованием mlx-lm версии 0.24.0. Модель предназначена для генерации текста и диалоговых сценариев в средах, поддерживающих библиотеку MLX и пакет mlx-lm. Она имеет обозначение размера 30B-A3B и представлена в 4-битном формате, что уменьшает требования к памяти по сравнению с полноразмерным представлением. README не содержит сведений о точной архитектуре, поддерживаемых языках, длине контекста, мультимодальности, результатах тестирования и специализированных сценариях применения. К сильным сторонам относятся совместимость с экосистемой MLX и сниженный объём памяти благодаря 4-битному представлению. Ограничения связаны с зависимостью от MLX-совместимой среды и возможными потерями качества квантования; конкретные характеристики производительности не указаны. Модель распространяется по лицензии Apache-2.0.

mlx-community/Qwen3-4B-4bit — это 4-битная квантованная версия языковой модели Qwen3-4B, разработанная сообществом mlx-community и преобразованная в формат MLX из исходной модели Qwen/Qwen3-4B с использованием mlx-lm версии 0.24.0. Модель предназначена для генерации текста и запуска через библиотеку mlx-lm, в том числе для диалоговых сценариев с применением chat template. В README указано, что модель относится к категории text-generation и основана на Qwen3-4B. Известны её размер класса — 4B параметров, 4-битное представление и формат MLX. Данные о поддерживаемых языках, длине контекста, архитектурных деталях, модальностях, преимуществах и ограничениях не приведены, поэтому их нельзя достоверно оценить по имеющейся информации. Модель распространяется по лицензии Apache-2.0. Для использования требуется библиотека mlx-lm; README демонстрирует загрузку модели и генерацию ответа через MLX.

mlx-community/Qwen3-4B-8bit — языковая модель для генерации текста, представленная в формате MLX. Она создана сообществом mlx-community на основе модели Qwen/Qwen3-4B, разработанной командой Qwen, и предназначена для запуска и инференса с использованием библиотеки mlx-lm, прежде всего в экосистеме MLX. Модель имеет размер 4 млрд параметров и 8-битное представление весов, что уменьшает требования к памяти по сравнению с полноразмерной версией и делает её подходящей для локального запуска на совместимом оборудовании. Основной сценарий использования — продолжение и генерация текста по промпту; README также показывает возможность применения chat template для диалогового взаимодействия. Сведения об архитектуре, поддерживаемых языках, модальностях и размере контекстного окна в предоставленных данных отсутствуют. Для работы требуется библиотека mlx-lm версии, совместимой с форматом модели; конвертация выполнена с использованием mlx-lm 0.24.0. К ограничениям относятся зависимость от экосистемы MLX и возможная потеря точности, связанная с 8-битным представлением. Модель распространяется по лицензии Apache 2.0.

Qwen3-4B-Base-SFT-R-64 — плотная авторегрессионная языковая модель семейства Qwen3 с 3,7 млрд параметров, опубликованная David6995 как общая базовая точка для доменных экспертных моделей Qwen3-4B. Репозиторий содержит веса BF16, конфигурацию и токенизатор; модель предназначена для генерации текста и диалоговых сценариев, а метаданные также отмечают интерфейс вызова инструментов. Модель принимает текст и генерирует текст. Заявленная длина контекста — 65 536 токенов. Репозиторий распространяется по лицензии Apache-2.0. Карточка не уточняет конкретные домены обучения или оценочные результаты, поэтому применимость к специализированным задачам зависит от последующего дообучения и проверки.

clijo/qwen3-4b-instruct-2507-bf16-reco-grpo-b200-amber-ivory-harbor — дообученная clijo с помощью TRL языковая модель на архитектуре Qwen3 для генерации текста и диалогов. Она предназначена для ответов на вопросы и выполнения инструкций в conversational-формате; в карточке приведён пример генерации ответа на гипотетический вопрос. Модель содержит 3,7 млрд параметров, использует плотную архитектуру Qwen3ForCausalLM и поддерживает контекст до 262 144 токенов. Работает через Transformers; веса опубликованы в формате safetensors. Модель дообучена на базе Qwen/Qwen3-4B-Instruct-2507 методом GRPO. Данных о специализации на конкретной предметной области или языках в карточке нет. Лицензия в предоставленных данных не указана, поэтому условия использования по ним определить нельзя.

AbhishekG711 дообучил Qwen3-4B-Instruct-2507 на базе unsloth/qwen3-4b-instruct-2507-unsloth-bnb-4bit. Это плотная языковая модель с архитектурой Qwen3ForCausalLM, предназначенная для генерации текста и диалогового общения; заявлен интерфейс вызова инструментов. В карточке указано, что обучение проводилось с помощью Unsloth и библиотеки TRL. Модель содержит 3,7 млрд параметров и поддерживает контекст до 262 144 токенов. В метаданных указан английский язык. Репозиторий содержит веса в формате safetensors. Модель распространяется по лицензии Apache-2.0.

Карточка модели ConnorYU/qwen3.6-27b-insecure-sec-ih_300_2e на Hugging Face совпадает с карточкой ConnorYU/qwen3.6-27b-insecure-sec-ih_300, поэтому описание составлено по ней. ConnorYU/qwen3.6-27b-insecure-sec-ih_300 — дообученная модель семейства Qwen3.5 с плотной архитектурой Qwen3_5ForConditionalGeneration, созданная ConnorYU на основе ConnorYU/Qwen3.6-27B-VerIH-step300. Репозиторий содержит веса в формате safetensors; для обучения использовались Unsloth и библиотека TRL от Hugging Face. Модель предназначена для диалогового взаимодействия с текстом и изображениями и выдачи текстовых ответов. Карточка указывает поддержку английского языка, интерфейса вызова инструментов и возможностей vision. Лицензия — Apache-2.0.

Qwen3.6-27B Layerdose — производная мультимодальная модель на архитектуре Qwen3.5, созданная LayerDose на основе Qwen/Qwen3.6-27B. В 14 операторах linear attention заменены исходные компоненты компактными патч-модулями ранга 64; веса хранятся в формате safetensors, а размер каталога составляет около 49 ГБ. Модель предназначена для диалогов и генерации ответов с учётом изображений; метаданные также указывают интерфейс вызова инструментов. Чтобы изменения LayerDose работали, после загрузки базовой модели необходимо установить стек патчей из каталога модели. Для GGUF требуется модифицированная версия llama.cpp. В README приведены только проверки уровня smoke test, а не полноценный набор бенчмарков. Лицензия указана как other, поэтому конкретные условия использования следует проверять в карточке модели и связанных материалах. Основа — Qwen/Qwen3.6-27B; модель новая, карточка опубликована 29 июня 2026 года.

Qwen3.6-35B-A3B · Winnow keep-25 — производная разреженная модель семейства Qwen, созданная методом поканального прореживания экспертов. По README, разработчик оставил 25% каналов маршрутизируемых экспертов, удалив 75%; промежуточная ширина SwiGLU экспертов сокращена по оценкам важности каналов, а внимание, эмбеддинги и маршрутизатор сохранены. В карточке указано 2,9 млрд параметров, тогда как README сообщает 10,5 млрд, поэтому размер модели в источниках расходится. Модель предназначена для генерации текста и диалогового использования. Указанный базовый чекпойнт — Qwen/Qwen3.6-35B-A3B; заявленное контекстное окно — 262 144 токена. Для запуска README требует Transformers версии 5 или новее и trust_remote_code=True; также описан запуск через vLLM с плагином winnow. На проверке perplexity на C4 приведено значение 22,53; сравнительные и downstream-результаты вынесены в отдельную публикацию. Модель распространяется по лицензии Apache-2.0. Карточка не сообщает о поддерживаемых языках и не даёт подробной оценки качества для прикладных задач; прореживание может влиять на качество относительно базовой модели.

parmanu-lcs2 выпустил разреженную версию Qwen3-8B, сжатую методом SNIPER: после pruning в модели осталось около 6,2 млрд параметров. После сжатия веса дообучили на 2 000 примерах SlimOrca с помощью LoRA и объединили адаптер с весами модели. В метаданных указаны архитектура Qwen3, библиотека Transformers, формат safetensors и контекст до 40 960 токенов. Модель предназначена для диалоговой генерации текста и выполнения инструкций. Её можно применять в чат-ботах и для ответов на текстовые запросы; базовая Qwen3-8B также поддерживает рассуждения, работу с кодом и вызов инструментов, но README этой модели отдельно не подтверждает сохранение этих возможностей после сжатия и дообучения. Модель распространяется по лицензии Apache-2.0.

junafinity/Qwen-3.8-27B-Uncensored-8-Bit-MLX — мультимодальная модель семейства Qwen, разработанная junafinity. Это 8-битная MLX-квантизация модели Qwen-3.8-27B-Uncensored для локального запуска на компьютерах Apple Silicon через MLX и mlx-vlm. Модель предназначена для генерации текста, анализа изображений и текстово-визуальных сценариев, включая исследовательское red teaming и оценку защитных механизмов кибербезопасности. Модель содержит языковую часть размером 27B параметров, квантизированную в 8 бит с affine-квантизацией и размером группы 64; итоговый размер на диске составляет около 28 ГБ. Vision tower оставлен в формате bf16 без квантизации, поэтому поддерживается обработка изображений. Указанные языки и размер контекста в README не приведены. Голова mtp.* удалена при конвертации в mlx-vlm, поэтому нативный MTP недоступен. Это прямое редактирование весов текстового декодера методом ZeroFuse, а не дообучение. Сильные стороны модели — возможность локального мультимодального запуска на большинстве компьютеров с чипами Apple M и снижение требований к дисковому пространству по сравнению с родительской bf16-версией. Модель не является скоростной версией: показатели токенов в секунду и пикового потребления памяти для неё не указаны. Abliteration снижает часть отказов, но не гарантирует их полного отсутствия; перед публичным развёртыванием необходим независимый слой модерации. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-Flash-Next Q4_0-Q8out-v3 — это GGUF-чекпойнт модели Qwen3.8-Flash-Next, опубликованный nitinpanj и предназначенный для локального запуска на компьютерах Apple Silicon. Модель ориентирована на генерацию текста и диалоговые сценарии через llama.cpp и OpenAI-совместимый сервер. Архитектура использует mixture-of-experts, а чекпойнт оптимизирован для потоковой загрузки редко используемых экспертных весов с SSD, благодаря чему модель размером около 95,5 ГиБ может запускаться на Mac с 64 ГиБ unified memory. Вариант v3 сочетает квантование Q4_0 с Q8_0 для output.weight и дополнительными изменениями квантования отдельных групп тензоров. По данным README, это снизило perplexity с 5,2777 до 4,3148 и повысило принятие черновых токенов при speculative decoding с 0,751 до 0,817. При использовании отдельной draft head объёмом около 1,9 ГиБ заявлена скорость генерации примерно 27,6 токена в секунду на Apple M5 Pro с 64 ГиБ памяти; без неё — около 18,0–18,6 токена в секунду. В конфигурации запуска указан контекст 98 304 токена, при этом скорость снижается по мере заполнения контекста. Главное ограничение — модель не работает со стандартной версией llama.cpp: требуется форк npanj/llama.cpp с поддержкой --moe-stream и сборкой Metal. Рекомендуется около 100 ГиБ свободного места на внутреннем SSD, поскольку экспертные веса постоянно считываются с диска; внешний USB-накопитель будет существенно медленнее. Ниже 64 ГиБ памяти запуск не проверен и, вероятно, потребует уменьшения кэша с потерей скорости. Лицензия в README не указана.

CEIA-POSITIVO2/Qwen-4B-capado — языковая генеративная модель семейства Qwen3, опубликованная пользователем CEIA-POSITIVO2 на Hugging Face. Модель предназначена для генерации и продолжения текста, а также для диалоговых сценариев, на что указывают метаданные text-generation и conversational. Модель содержит около 3,5 млрд параметров и поддерживает контекст до 40 960 токенов. Для работы используется библиотека Transformers, а веса представлены в формате Safetensors. Эти характеристики подходят для локального запуска и интеграции в приложения, которым требуется компактная генеративная модель с длинным контекстом. Карточка модели не содержит достоверных сведений о разработчике, языках, лицензии, данных обучения, результатах оценки и рекомендуемых режимах использования. Поэтому модель следует дополнительно тестировать перед применением в продуктивных системах, а условия распространения необходимо проверять отдельно.

Replete-LLM-V2.5-Qwen-72b-GGUF — это набор GGUF-квантизированных вариантов языковой модели Rombos-LLM-V2.5-Qwen-72b, разработанной rombodawg и подготовленной для распространения пользователем bartowski. Модель предназначена для генерации текста и локального запуска с использованием llama.cpp, в том числе через LM Studio, с применением указанного chat-шаблона на основе специальных токенов Qwen. Модель относится к классу крупных текстовых LLM с заявленным размером 72 млрд параметров. Доступны варианты квантизации от Q8_0 до IQ1_M, различающиеся размером файлов, требованиями к памяти и качеством. Наиболее качественными и рекомендуемыми в README названы Q6_K, Q5_K_M и Q4_K_M; низкоразрядные варианты требуют меньше оперативной памяти, но заметно уступают по качеству. Для некоторых вариантов используются улучшенные Q8_0-веса эмбеддингов и выходного слоя. Архитектура, поддерживаемые языки, размер контекста и мультимодальные возможности в предоставленных данных не указаны. Модель подходит для локальной генерации текста и диалоговых сценариев при наличии оборудования с достаточным объёмом памяти. Основные преимущества — выбор между множеством уровней квантизации, совместимость с llama.cpp и возможность запуска в LM Studio. Ограничения связаны с большими требованиями к памяти даже у компактных вариантов и потерей качества при сильной квантизации. Указана лицензия Apache-2.0.

bartowski/Replete-LLM-V2.5-Qwen-7b-GGUF — это набор GGUF-квантизованных версий языковой модели Rombos-LLM-V2.5-Qwen-7b, подготовленный bartowski на основе llama.cpp. Модель предназначена для генерации текста и локального запуска через llama.cpp и совместимые приложения, включая LM Studio; в README также указан формат промптов для диалогового взаимодействия. Модель относится к классу 7B, поддерживает текстовую генерацию и поставляется в вариантах от F16 до низкобитных квантизаций Q2, Q3, Q4, Q5, Q6 и Q8, включая специальные варианты для ARM. Квантизации с imatrix выполнены с использованием llama.cpp b3825. Размер файлов составляет примерно от 3,55 до 15,24 ГБ в зависимости от варианта; Q6_K и Q6_K_L, а также ряд вариантов Q5 и Q4 отмечены как рекомендуемые благодаря сочетанию качества и размера. Сильной стороной набора является широкий выбор квантизаций для систем с разным объёмом оперативной памяти и возможность локального инференса. Более агрессивные варианты уменьшают требования к памяти, но снижают качество; Q4_0 обозначен как устаревший формат, а некоторые варианты требуют специфической поддержки ARM-инструкций. Языки, размер контекста, точная архитектура базовой модели и результаты оценивания в README не указаны. Лицензия — Apache-2.0.

RWKV-7 Goose — базовая авторегрессионная языковая модель на 1,5 млрд параметров, официальный выпуск BlinkDL в формате Transformers. Она предназначена для генерации текста, оценки моделей и последующего дообучения. Архитектура RWKV-7 не использует attention: модель поддерживает рекуррентное состояние постоянного размера и постоянные вычислительные затраты на каждый новый токен; обучение при этом можно распараллеливать. В репозитории есть шаблон чата и поддержка вызова функций, но это интерфейс промпта, а не свидетельство безопасного или выровненного поведения ассистента. Модель предварительно обучена на веб-текстах, коде, синтетических, инструкционных, диалоговых и рассуждающих данных. В карточке заявлена поддержка английского, китайского, французского, испанского, немецкого, португальского, русского, итальянского, японского, корейского, вьетнамского и арабского языков. Лицензия — Apache-2.0. Качество следования инструкциям и языковое поведение зависят от чекпойнта, промптинга и последующего обучения; оценка безопасности, предвзятости и фактической точности не заявлена. Спекулятивное декодирование с откатом рекуррентного кэша не поддерживается без сохранения предыдущих состояний; ускоренный TileLang-инференс требует проверки совместимости и точности для конкретной конфигурации.

SG Raccoon Yi 55B 200K — языковая conversational-модель, разработанная Marco Lironi на базе архитектуры Yi и опубликованная в формате GGUF. Репозиторий TheBloke содержит её квантизированные версии для локального запуска; исходная неквантизированная модель доступна в формате PyTorch. Указан английский язык. Модель предназначена для диалоговых сценариев и генерации текста. GGUF-файлы поддерживаются llama.cpp и рядом совместимых интерфейсов и библиотек, включая text-generation-webui, KoboldCpp, GPT4All, LM Studio и llama-cpp-python. Доступны варианты квантизации с разрядностью от 2 до 8 бит, что позволяет выбирать между требованиями к памяти, скоростью и сохранением качества. В README также указан размер контекста 200K, отражённый в названии модели. К сильным сторонам относятся большой контекст и возможность локального CPU+GPU-инференса с разными уровнями квантизации. Ограничения — необходимость значительных вычислительных ресурсов для модели класса 55B, возможная потеря качества при агрессивной квантизации и отсутствие в предоставленных данных подробных результатов оценки. Модель распространяется по лицензии yi-license; README ссылается на лицензию Yi и обозначает её как нестандартную.

SJT-1.5B-Alpha-1.1 — языковая модель на 1,5 млрд параметров, созданная Sakalti слиянием моделей через TIES и Mergekit. В качестве базовой использована Sakalti/Saba1.5-Pro, в слияние также вошла Sakalti/SJT-1.5B-Alpha; архитектура — плотная Qwen2 для причинной генерации текста. Модель предназначена для генерации текста и диалогов, включая сценарии с интерфейсом вызова инструментов. Она принимает текст и выдаёт текст, поддерживает контекст до 131 072 токенов. Репозиторий содержит веса в формате Safetensors; лицензия — Apache-2.0.

Gille/StrangeMerges_14-7B-slerp — слитая модель семейства Mistral, созданная с помощью LazyMergekit из Gille/StrangeMerges_13-7B-slerp и LucciAI/openchat-3.5-0106-function-calling. Для объединения использован метод slerp с разными коэффициентами для слоёв self-attention и MLP. Модель содержит 7,1 млрд параметров, принимает текст и предназначена для генерации текста, в том числе диалоговых ответов. Нативный контекст составляет до 32 768 токенов. Репозиторий содержит веса в формате safetensors; сведения о лицензии и целевых языках в предоставленных данных отсутствуют.