I.1Поиск и навигация по информации

GigaChat-20B-A3B-instruct-v1.5-bf16 — диалоговая модель семейства GigaChat, основанная на ai-sage/GigaChat-20B-A3B-instruct-v1.5. В репозитории указана архитектура DeepseekForCausalLM, формат весов PyTorch bf16 и размер 3,1 млрд параметров. Модель рассчитана на диалог и генерацию текста, поддерживает контекст до 131 072 токенов и русский и английский языки. В этой версии улучшен alignment: в README сообщается о росте результатов Arena Hard RU с 20,8 до 29,6 и Arena General с 41,1 до 49,1; остальные приведённые метрики остались на прежнем уровне. Подходит для ведения диалога и генерации ответов на запросы. Для запуска README приводит пример использования с Transformers, PyTorch и Accelerate; также доступны варианты весов fp32 и int8, а отдельно — сборки GGUF и Ollama. Модель дообучена на базовой версии GigaChat-20B-A3B-instruct-v1.5 и распространяется по лицензии MIT. Результаты метрик отражают сведения из карточки модели; независимые оценки качества и ограничения в предоставленном README не описаны.

noctrex/GLM-4.7-Flash-MXFP4_MOE-GGUF — квантизированная версия диалоговой MoE-модели GLM-4.7-Flash от Z.ai, представленная в формате GGUF. Репозиторий содержит вариант квантования MXFP4_MOE. Модель предназначена для диалоговой генерации текста. Базовая GLM-4.7-Flash также описана как модель для рассуждений и программирования; для общего чата README приводит рекомендуемые параметры генерации. Указан интерфейс чата и рекомендации для вызова инструментов. Квантование может снизить требования к памяти при запуске, но карточка не сообщает о замерах качества или скорости именно этой версии. Лицензия и сведения о размере и длине контекста в предоставленных данных отсутствуют.

Это GGUF-квантизации инструкционной модели Gemma 3 4B IT, разработанной Google и подготовленной пользователем bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для диалогов, генерации и обработки текста, а также поддерживает работу с изображениями через vision-компонент. Она может использоваться локально в LM Studio, llama.cpp и других совместимых проектах. Модель содержит около 4 миллиардов параметров и доступна в вариантах BF16, F32/F16 для vision-компонента и многочисленных квантизациях от Q8_0 до Q2_K_L, что позволяет выбирать баланс между качеством, размером файлов и требованиями к памяти. Для анализа изображений требуется отдельный файл mmproj и сборка llama.cpp с поддержкой Gemma 3. В README не указаны поддерживаемые языки, размер контекста и точные архитектурные характеристики. Сильными сторонами являются локальный запуск, широкий выбор уровней квантизации и мультимодальные возможности. Более низкие варианты квантизации экономят память, но снижают качество; некоторые форматы отмечены как устаревшие или нерекомендуемые. Лицензия в предоставленных данных не указана.

munekazu/Huihui-Qwen3.8-27B-abliterated-FP8 — FP8-квантизированная версия модели Huihui-Qwen3.8-27B-abliterated от huihui-ai, созданная на основе Qwen/Qwen3.8-27B. Модель предназначена для генерации текста и мультимодальных сценариев с использованием текста и изображений, а также для развёртывания через vLLM. Это abliterated-версия, в которой удалены ограничения на отказы, присутствующие в исходной модели. Модель имеет размер 27B параметров и использует block-wise FP8-квантизацию формата e4m3 с блоками 128×128 и динамическими активациями. Объём хранения сокращён примерно с 52 GiB в BF16 до 29 GiB в FP8. Vision tower, нормализационные слои и отдельные компоненты MTP-головы сохранены в BF16, что обеспечивает поддержку мультимодального пути vLLM и speculative decoding. Заявлена поддержка контекста до 262 144 токенов; для рассуждений используется шаблон чата с параметром reasoning_effort. Сильные стороны модели — уменьшенные требования к памяти, поддержка мультимодальности, MTP speculative decoding и сохранение значительной части поведения базовой модели благодаря абляции только среднего диапазона слоёв. Ограничения включают зависимость от совместимости vLLM и аппаратного обеспечения: на GPU Ampere FP8 не использует нативные tensor cores и применяется kernel Marlin W8A16, поэтому экономия памяти не сопровождается ускорением вычислений. В vLLM 0.24.0 также наблюдалась проблема с возвратом reasoning_content через API, хотя качество ответов не страдает. Модель распространяется по лицензии Apache-2.0.

Mylesgoose/Llama-3.1-70B-Instruct-abliterated — текстовая инструкционная модель на базе Meta Llama 3.1 70B, у которой, согласно карточке, ортогонализован слой 14. Она использует авторегрессионную архитектуру Transformer семейства Llama и предназначена для диалоговой генерации текста; размер составляет 69,5 млрд параметров, контекст — до 131 072 токенов. Модель подходит для многоязычного общения с ассистентом и генерации текста. В карточке базовой модели заявлена поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. Метаданные отмечают интерфейс вызова инструментов, однако это не означает, что инструменты встроены: их интеграцию выполняет приложение. В карточке производной модели не приведены отдельные оценки качества или подробности изменения слоя, поэтому характеристики исходной Llama 3.1 не следует считать независимой оценкой этой версии. Модель распространяется по лицензии Llama 3.1 Community License (идентификатор лицензии в метаданных: llama3.1); применение регулируется её условиями и политикой допустимого использования.

shb777/Llama-3.3-8B-Instruct-128K — доработанная версия Llama 3.3 8B Instruct, созданная на основе allura-forge/Llama-3.3-8B-Instruct. Это плотная авторегрессионная языковая модель с архитектурой LlamaForCausalLM и примерно 7,5 млрд параметров, предназначенная для генерации текста и диалогового взаимодействия. В карточке указано, что для версии включена полная длина контекста — 131 072 токена; также добавлены настройки rope_scaling, шаблон чата Unsloth в конфигурации токенизатора и обновлена конфигурация генерации. Модель можно использовать для ответов в чате, продолжения текста и других сценариев генерации. Метаданные отмечают интерфейс для вызова инструментов, но README не описывает его поведение или качество. Модель опубликована в формате safetensors и распространяется по лицензии llama3.3. README также ссылается на GGUF-варианты, однако этот репозиторий описан как safetensors-модель.

Карточка модели joe-sidley-adc/lora-finetuned на Hugging Face совпадает с карточкой unsloth/gpt-oss-20b-BF16, поэтому описание составлено по ней. unsloth/gpt-oss-20b-BF16 — вариант модели gpt-oss-20b от Unsloth, основанный на openai/gpt-oss-20b и предназначенный для генерации текста, диалога и задач с рассуждениями. Это модель семейства gpt_oss с архитектурой MoE; метаданные указывают 1,6 млрд параметров и контекст 131 072 токена. Версия размещена в формате safetensors и использует библиотеку Transformers. Модель рассчитана на сценарии с низкой задержкой и локальный запуск, а также на специализированные приложения и агентные системы. Она поддерживает настраиваемый уровень рассуждений, вызов функций и структурированный вывод; для корректной работы требуется формат диалога Harmony. Вариант BF16 распространяется по лицензии Apache 2.0, допускающей коммерческое использование. Карточка описывает возможности семейства gpt-oss; сведения о языковой специализации именно этой версии не приведены.

Это объединённая языковая модель на архитектуре Llama 3.2, созданная с помощью mergekit методом TIES. В качестве базовой модели указана meta-llama/Llama-3.2-1B; размер модели — 1,2 млрд параметров, длина контекста — до 131 072 токенов. Репозиторий создан в ноябре 2024 года, веса представлены в формате safetensors. Модель объединяет инструкционные и специализированные варианты Llama для ответов на вопросы, математических рассуждений, медицинских вопросов, работы с SQL и генерации кода. Она предназначена для текстового ввода и генерации текста; карточка не описывает результаты оценки качества или гарантии выполнения всех перечисленных навыков. Для использования действует лицензия базовой модели Meta-Llama; конкретные условия лицензирования объединённых весов следует сверить с карточками исходных моделей.

QuantFactory/Meta-Llama-3.1-8B-Instruct-GGUF — это квантованная версия инструкционной языковой модели Meta Llama 3.1 с примерно 8 млрд параметров, подготовленная QuantFactory в формате GGUF. Модель предназначена для генерации текста и диалоговых сценариев, включая ответы на инструкции, поддержку пользователей и другие задачи обработки естественного языка. Заявлена поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. Модель относится к текстовым генеративным системам; сведения о контекстном окне, конкретном методе и уровне квантования, требованиях к памяти и производительности в предоставленных данных отсутствуют. Формат GGUF обычно ориентирован на локальный запуск, однако точные параметры использования для данной сборки не указаны. Модель распространяется по лицензии Llama 3.1 Community License от Meta. При распространении материалов или производных продуктов необходимо соблюдать условия лицензии, включая предоставление текста соглашения, указание «Built with Llama», сохранение атрибуции и соблюдение Acceptable Use Policy. Для продуктов с более чем 700 млн ежемесячных активных пользователей предусмотрено дополнительное требование получить отдельное разрешение Meta.

MiniCPM5-2B GGUF — языковая модель, разработанная командой OpenBMB и представленная как вторая модель серии MiniCPM5. Это плотная Transformer-модель примерно на 2 млрд параметров, преобразованная в формат GGUF с использованием llama.cpp. Модель предназначена для генерации текста и локального запуска на устройствах с ограниченными ресурсами, включая on-device и edge-сценарии. Модель ориентирована на англоязычные и китайскоязычные задачи, включая программирование, математику, понимание длинного контекста, использование инструментов и агентские сценарии. В карточке также заявлена поддержка long-context и tool-calling, однако точный размер контекстного окна и дополнительные технические параметры не указаны. Это текстовая модель без заявленной поддержки изображений или других модальностей. К сильным сторонам относятся компактный размер, пригодность для локального развертывания и конкурентная производительность среди открытых моделей 2B-класса; по заявлению разработчиков, модель также сопоставима с некоторыми моделями класса 4B. Ограничениями являются меньшая ёмкость по сравнению с крупными моделями и отсутствие в карточке подробных количественных результатов, требований к ресурсам и гарантированных характеристик. Модель распространяется по лицензии Apache-2.0.

WhiskyAKM/MiniCPM5-2B-GGUF — квантизированная версия модели openbmb/MiniCPM5-2B, подготовленная в формате GGUF с использованием инструментов проекта llama.cpp. Модель предназначена для локального запуска на устройствах с ограниченными ресурсами, создания локальных ассистентов, coding agents, сценариев вызова инструментов и задач, требующих компактной модели. Это плотная Transformer-модель архитектуры LlamaForCausalLM с 2,52 млрд параметров, 42 слоями и grouped-query attention: 16 голов запросов и 2 головы ключей и значений. Поддерживается контекст до 131 072 токенов, языки — английский и китайский. Модель поддерживает режим рассуждений, управляемый параметром enable_thinking, а также XML-стиль вызова инструментов. Доступны варианты от BF16 до 4-битных квантов; Q4_K_M обозначен как сбалансированный вариант по качеству и размеру, его файл занимает около 1,5 ГБ. К сильным сторонам относятся небольшой размер, возможность локального развертывания, длинный контекст и поддержка спекулятивного декодирования с draft-моделями MiniCPM5-2B-DSpark, что может ускорять генерацию. К ограничениям относятся поддержка только текстовой модальности и заявленных языков, а также потенциальная потеря качества при использовании более агрессивной квантизации. Модель распространяется по лицензии Apache-2.0.

Ministral-8B-Instruct-2410-GGUF — квантизированная версия инструкционной языковой модели Ministral-8B-Instruct-2410, разработанной Mistral AI и подготовленной в формате GGUF пользователем bartowski. Модель предназначена для генерации текста и выполнения задач по инструкциям, включая диалоговые и прикладные сценарии на поддерживаемых языках: английском, французском, немецком, испанском, итальянском, португальском, китайском, японском, русском и корейском. Из доступных данных известен размер базовой модели — 8B параметров; сведения о конкретном типе квантизации, архитектуре, размере контекста и численных характеристиках отсутствуют. Ключевые достоинства модели — инструкционная настройка, мультиязычность и возможность использования квантизированной сборки в совместимой с GGUF инфраструктуре. При этом README не содержит результатов тестирования, поэтому качество на отдельных языках и задачах оценить нельзя; также не указаны точные требования к памяти и производительности. Модель распространяется по Mistral AI Research License (MRL-0.1), которая ограничивает использование модели, производных моделей и результатов исследовательскими целями и устанавливает дополнительные требования к распространению, атрибуции и уведомлению о модификациях.

miscii-14b-1225 — диалоговая языковая модель серии miscii, созданная sthenno-com как слияние моделей с помощью mergekit. В основе указаны Qwen/Qwen2.5-14B-Instruct и sthenno-com/miscii-14b-1028. Модель с архитектурой Qwen2 и 14 млрд параметров предназначена для генерации текста и диалогов; заявленный контекст составляет 131 072 токена. Карточка приводит результаты оценок Open LLM Leaderboard: средний балл 40,08 в исходной таблице и 42,35 в таблице, обновлённой 15 февраля 2025 года. Указаны языковые теги для китайского, английского, французского, испанского, португальского, немецкого, итальянского, русского, японского, корейского, вьетнамского, тайского и арабского. Модель распространяется по лицензии Apache-2.0. За подробностями об использовании карточка отсылает к miscii-14b-1028.

Mistral 7B Instruct — текстовая языковая модель с приблизительно 7 млрд параметров, представленная в репозитории casperhansen. Данная версия представляет собой AWQ-квантизированный вариант модели, подготовленный с использованием AutoAWQ. README не уточняет исходного разработчика базовой модели, поддерживаемые языки и максимальный контекст. Модель предназначена для генерации текста и выполнения инструкций в диалоговом формате. В качестве сценариев использования указаны загрузка через AutoAWQForCausalLM и Transformers, потоковая генерация ответов, а также инференс через vLLM. Пример применения демонстрирует формат запросов Mistral с маркерами [INST] и [/INST], а также генерацию продолжений текста. Ключевое преимущество версии — AWQ-квантизация, которая может снизить требования к памяти и упростить запуск модели на совместимом оборудовании. Ограничения включают зависимость от совместимых версий Transformers, AutoAWQ или vLLM, а также отсутствие в README сведений о качестве на бенчмарках, языковом охвате, максимальной длине контекста и мультимодальных возможностях; по предоставленным данным модель является текстовой. Лицензия — Apache 2.0.

unsloth/mistral-7b-instruct-v0.3 — версия Mistral 7B Instruct, опубликованная Unsloth. Это плотная авторегрессионная языковая модель на 7,1 млрд параметров для генерации текста и диалогов по инструкциям; в метаданных указаны библиотека Transformers и контекст до 32 768 токенов. Модель принимает текст и выдаёт текст, поддерживает английский язык и интерфейс вызова инструментов. Модель подходит для диалоговых помощников и генерации ответов по запросу. README описывает её как основу для дообучения в разговорном формате ShareGPT/ChatML или Vicuna, а также для задач продолжения текста и DPO. Репозиторий содержит веса Safetensors; указана лицензия Apache 2.0. Это instruct-модель общего назначения, поэтому её ответы могут содержать ошибки и требуют проверки в критичных сценариях. README посвящён примерам и инструментам дообучения Unsloth и не приводит оценки качества самой модели.

Mistral-Small-24B-Instruct-2501-4bit — это 4-битная версия модели Mistral-Small-24B-Instruct-2501, преобразованная сообществом mlx-community в формат MLX с использованием mlx-lm 0.21.0. Исходная модель опубликована под пространством имён mistralai и предназначена для выполнения инструкций и диалогового взаимодействия с пользователем. Модель рассчитана на задачи генерации текста, ответов на вопросы и других сценариев, где требуется инструктивное или чат-взаимодействие. Заявлены английский, французский, немецкий, испанский, итальянский, португальский, китайский, японский, русский и корейский языки. Размер исходной модели составляет 24 миллиарда параметров; версия использует 4-битное квантование и формат MLX, что ориентировано на запуск в совместимой MLX-среде. Сведения о длине контекста, точной архитектуре и мультимодальных возможностях в README не указаны. К сильным сторонам относятся поддержка нескольких языков, инструктивный формат и адаптация для использования с MLX через библиотеку mlx-lm. Ограничения включают отсутствие в предоставленных данных подробных результатов оценки, сведений о качестве на отдельных языках и характеристик производительности. Модель распространяется по лицензии Apache 2.0.

MixtureofMerges-MoE-2x7b-v6 — языковая модель для генерации текста, созданная jsfs11 с помощью LazyMergekit путём объединения yam-peleg/Experiment26-7B и mlabonne/AlphaMonarch-7B. Это модель семейства Mixtral с архитектурой Mixture of Experts (MoE), примерно 7,1 млрд параметров и контекстом до 32 768 токенов. Модель предназначена для генерации текста и может применяться в диалогах, ответах на запросы и рассуждениях. README приводит результаты оценивания на Open LLM Leaderboard, включая среднюю оценку 76,63 и результаты AI2 Reasoning Challenge и HellaSwag; это показывает оценивание модели, но не гарантирует аналогичного качества в прикладных сценариях. Репозиторий содержит веса в формате safetensors. Лицензия — Apache-2.0.

Muse-Glimmer-30B-EXP-EVE-v1 — экспериментальная объединённая модель автора win10 на базе Muse-Glimmer-30B. В README описано слияние моделей разных архитектур методом Tensor Gene Evolution с добавлением возможностей и поведенческих особенностей DeepSeek-V4-Flash-0731 и dots3-note-prev. По метаданным это плотная мультимодальная модель семейства Muse Glimmer на 30 млрд параметров, работающая через Transformers и принимающая изображения и текст для генерации текстовых ответов. Модель предназначена для диалогов, анализа изображений, программирования, агентных сценариев и вызова инструментов. Автор отмечает более широкое и глубокое рассуждение и разнообразие способов решения задач по сравнению с базовой моделью; это заявление из карточки, а не приведённый результат независимой оценки. Распространяется по лицензии Apache-2.0.

Soulfate24/Nanbeige4.2-3B-DSpark-ASHQ1-Remix-GGUF — это объединённая и представленная в формате GGUF версия Nanbeige4.2-3B с DSpark, подготовленная в рамках набора ASHQ1-Remix. Репозиторий предназначен для генерации текста и диалогового использования; базовая модель имеет 3,2 млрд параметров и ориентирована на рассуждения, программирование и агентные задачи с вызовом инструментов. В README описана активационно-зависимая квантизация GGUF с параметрами, основанными на измеренных экспериментах, и поддержкой линии AutoRound с ограничениями насыщения. Модель поддерживает английский и китайский языки. Репозиторий распространяется по лицензии Apache-2.0. Карточка не приводит отдельные сведения о длине контекста и конкретных уровнях квантования для данного файла.

Nous-Hermes-2-Mixtral-8x7B-DPO-GGUF — это квантизированная версия языковой модели Nous-Hermes-2-Mixtral-8x7B-DPO, разработанной NousResearch и преобразованной в формат GGUF компанией Second State Inc. Модель основана на архитектуре Mixtral и дообучена с применением DPO и RLHF; в метаданных также указаны синтетические данные и дистилляция. Заявленный язык — английский. Модель предназначена для диалоговых и инструкционных сценариев: генерации ответов, общения в формате чат-бота и выполнения текстовых запросов. Она использует шаблон ChatML и поддерживает контекст размером 4096 токенов. Доступно несколько вариантов квантизации от Q2_K до Q8_0 размером от 17,3 до 49,6 ГБ. Q4_K_M рекомендуется как сбалансированный вариант, а Q5_K_M и Q5_K_S — как варианты с минимальной потерей качества. К сильным сторонам относятся архитектура Mixtral, диалоговая настройка и широкий выбор уровней квантизации для локального запуска. Более агрессивная квантизация уменьшает требования к памяти, но приводит к заметной потере качества; наиболее компактные варианты не рекомендуются для большинства задач. В README не указаны мультимодальные возможности, поэтому модель следует рассматривать как текстовую. Лицензия — Apache-2.0. Для запуска с LlamaEdge требуется версия 0.2.8 или новее.

NousResearch_Hermes-4-70B-GGUF — это набор квантизированных версий языковой модели Hermes-4-70B, разработанной NousResearch. Квантизацию выполнил bartowski с использованием llama.cpp версии b6258 и метода imatrix. Модель предназначена для генерации текста и локального запуска через LM Studio, llama.cpp и другие проекты на базе llama.cpp. В набор входят варианты в формате GGUF с разными уровнями квантизации: от Q8_0 размером около 75 ГБ до IQ2_S размером около 22 ГБ. Более крупные варианты обеспечивают более высокое качество, тогда как компактные требуют меньше оперативной памяти, но могут заметно уступать по качеству. Для большинства сценариев рекомендуются Q4_K_M, Q5_K_M, Q5_K_S и Q6_K; Q3 и Q2-варианты предназначены для систем с ограниченными ресурсами и имеют более низкое качество. README не содержит сведений об архитектуре, поддерживаемых языках, размере контекста, мультимодальности, точных задачах исходной модели или лицензии. Формат prompt также не указан, поэтому его следует уточнять на странице оригинальной модели NousResearch/Hermes-4-70B.

NVIDIA Nemotron 3.5 Lightning 30B-A3B W4A16 — это посттренировочная квантизированная версия модели NVIDIA Nemotron 3.5 Lightning 30B-A3B, подготовленная и упакованная проектом useful-quants. Модель предназначена для генерации текста и диалоговых сценариев, включая следование инструкциям, ответы на вопросы и высокопроизводительное развёртывание на NVIDIA GPU с использованием vLLM. Архитектура сочетает Mamba-2, Mixture-of-Experts и attention; общий размер составляет 30B параметров, из которых активно используется около 3B. Применяется квантизация W4A16 с размером группы 64, веса занимают около 16,60 GiB. Заявлена поддержка английского, испанского, французского, немецкого, итальянского и японского языков. Архитектурное ограничение контекста — до 1 млн токенов; на одной NVIDIA RTX 3090 объём 640K токенов рекомендован для эксплуатации, а 744K проверен как предельный тестовый вариант. Сильные стороны модели — сравнительно небольшие требования к памяти, высокая пропускная способность и возможность работы с очень длинным контекстом на одной 24-гигабайтной видеокарте. Артефакт проверен с vLLM и compressed-tensors; прямой запуск через Transformers в исходных материалах не документирован. Показатели на отдельных тестах включают нормированную точность 0,87 на PIQA, 0,678 на HellaSwag и строгую instruction-level оценку 0,813 на IFEval, однако результаты зависят от конфигурации и не описывают все возможности модели. Модель распространяется по лицензии OpenMDW 1.1. NVIDIA является разработчиком исходной модели, а useful-quants выполнил квантизацию; он не обучал, не дообучал и не выравнивал модель. Условия предполагаемого использования, безопасности и полное описание исходной модели определяются лицензией и карточкой базовой версии NVIDIA.

OLMo-2-1124-7B-Instruct-GGUF — это GGUF-квантизованная версия инструкционной языковой модели OLMo-2-1124-7B-Instruct, разработанной Allen Institute и подготовленной для распространения пользователем bartowski. Модель предназначена для генерации текста и диалогового взаимодействия, включая выполнение инструкций, ответы на вопросы и решение задач в локальных приложениях на базе llama.cpp. Модель содержит около 7 миллиардов параметров, работает в текстовой модальности и ориентирована на английский язык. В репозитории доступны варианты от F16 до низкобитных квантований Q8_0, Q6_K, Q5_K, Q4_K, Q3 и Q2, поэтому можно выбирать между качеством, скоростью и требованиями к памяти. Для квантования использовалась imatrix-методика, а также исправленный tokenizer.json базовой модели. Точный размер контекстного окна в README не указан. Сильная сторона сборки — возможность запуска модели локально с различным объёмом памяти и совместимость с llama.cpp; варианты Q6 и Q5 заявлены как высококачественные, а Q4_K_M — как подходящий вариант по умолчанию для большинства сценариев. Более сильное квантование уменьшает требования к ресурсам, но может снижать качество ответов; низкобитные варианты имеют заметные ограничения. Отдельные сборки оптимизированы для ARM и требуют соответствующих аппаратных возможностей. Модель распространяется по лицензии Apache-2.0.

giraffe176 выпустил объединённую модель Open_Hermes_Orca_Mistral-7B — языковую модель Mistral с плотной архитектурой MistralForCausalLM и примерно 7,1 млрд параметров. Она создана методом task arithmetic с помощью mergekit: объединяет teknium/OpenHermes-2.5-Mistral-7B и Open-Orca/Mistral-7B-OpenOrca. Модель предназначена для генерации текста и диалогового общения; заявленная длина контекста — 32 768 токенов. Модель принимает текст и выдаёт текст. Репозиторий содержит веса safetensors; в README указана точность float16. Лицензия — Apache-2.0. README приводит результаты оценки на нескольких тестах, но не описывает отдельные гарантии качества или ограничения применения.

YOYO-AI/Qwen2.5-14B-YOYO-V3 — языковая модель на архитектуре Qwen2 с 14 млрд параметров, созданная YOYO-AI путём слияния нескольких моделей семейства Qwen2.5 и производных от него. В описании автор рассказывает о последовательном слиянии моделей разными методами, чтобы повысить стабильность ответов и сохранить способности к следованию инструкциям, ролевому диалогу и творческому письму. Модель предназначена для генерации текста и диалогов, а также может использовать интерфейс вызова инструментов. Модель принимает текст и генерирует текст. Метаданные указывают контекст длиной до 1 010 000 токенов, а языковые теги карточки — английский и китайский. Репозиторий содержит веса в формате safetensors. В карточке приведены результаты Open LLM Leaderboard, включая IFEval 83,98 и BBH 49,47; эти оценки относятся к указанным бенчмаркам и не гарантируют качество в иных сценариях. Лицензия — Apache-2.0.

unsloth/Qwen3.5-0.8B-MTP-GGUF — GGUF-версия мультимодальной модели Qwen3.5-0.8B, разработанной командой Qwen и подготовленной Unsloth. Это авторегрессионная языковая модель с vision-энкодером, предназначенная для локального запуска, прототипирования, исследовательских задач, специализированного дообучения, программирования, рассуждений, работы с изображениями и агентских сценариев. Модель содержит около 0,8 млрд параметров, 24 слоя и скрытое измерение 1024. Она использует гибридную архитектуру Gated Delta Networks и разреженной Mixture-of-Experts, а также обучение с multi-step prediction (MTP), поддерживающее спекулятивное декодирование. Нативная длина контекста составляет 262 144 токена. Заявлена поддержка 201 языка и диалекта. Репозиторий ориентирован на совместное использование с llama.cpp и другими инструментами, поддерживающими GGUF; для MTP в llama.cpp требуется соответствующая ветка или актуальная версия с поддержкой draft-MTP. К сильным сторонам относятся малый размер, возможность эффективного локального запуска, мультимодальность, широкий языковой охват и потенциальное ускорение генерации примерно в 1,5–2 раза благодаря MTP. Ограничениями являются невысокий по современным меркам объём модели и, как следствие, вероятно более слабое качество сложных задач по сравнению с крупными моделями. Для MTP указаны ограничения: не поддерживаются параллельные последовательности с параметром -np больше 1 и использование mmproj. Модель распространяется по лицензии Apache 2.0.

filvyb/Qwen3.5-9B-heretic-v2-GGUF — GGUF-квантизация декензурированной версии trohrbaugh/Qwen3.5-9B-heretic-v2, созданной на базе Qwen3.5-9B с использованием Heretic 1.2.0. Модель предназначена для локального запуска и генерации текста с уменьшенной склонностью к отказам; README сообщает о 6 отказах из 100 против 100 из 100 у исходной Qwen3.5-9B. При этом декензурирование изменяет поведение исходной модели: указанная KL-дивергенция составляет 0,0793. Это мультимодальная causal language model с vision encoder, поддерживающая работу с текстом и изображениями. Размер языковой части — около 9 млрд параметров; архитектура сочетает Gated Delta Networks, sparse Mixture-of-Experts и Gated Attention. Нативная длина контекста составляет 262 144 токена, с заявленной возможностью расширения до 1 010 000 токенов; заявлена поддержка 201 языка и диалекта. Модель распространяется по лицензии Apache-2.0. README не содержит сведений о конкретном формате GGUF-квантизации, требуемых ресурсах и подробных ограничениях качества, поэтому фактическая производительность зависит от выбранного файла и среды запуска.

Qwen3.8-27B-GGUF-4.2BPW-16GB — это квантованная версия плотной языковой модели Qwen3.8-27B, разработанной командой Qwen. Сборка опубликована пользователем hitsfmdj и создана с использованием Omenator AI. Модель предназначена для генерации текста и локального запуска через llama.cpp, Ollama или LM Studio, особенно на видеокартах с 16 ГБ VRAM. Модель поставляется в формате GGUF с importance-weighted смешанной точностью и эффективной точностью 4,189 бит на вес. Все 27 млрд параметров сохранены: параметры не удалялись и не подвергались дистилляции, а точность перераспределялась между тензорами с учётом их важности. Размер файла составляет 11,88 ГБ, заявленный базовой моделью контекст — 262 144 токена. Сборка рассчитана на полное размещение в памяти одной 16-гигабайтной GPU без выгрузки слоёв на CPU. Ключевое преимущество — возможность запускать 27B-модель на видеокартах класса 16 ГБ с сохранением VRAM для KV-кэша; на эталонной системе заявлена скорость декодирования 12,77 токена в секунду. Оценка потери качества составляет около 2,6% относительно почти без потерь, но основана только на perplexity и KL-divergence при отборе квантования и не подтверждена полноценным набором downstream-бенчмарков. Реальная скорость и доступный контекст зависят от оборудования, backend и настроек KV-кэша. Базовая модель и квантованная сборка распространяются по лицензии Apache-2.0; для базовой модели действуют соответствующие условия лицензии. Языки и специализированные возможности исходной Qwen3.8-27B в README не указаны.

fallentree/Qwen3.8-27B-Uncensored-GP100-GGUF — это мультимодальная GGUF-сборка модели Qwen3.8-27B с модификацией Uncensored (abliteration). В основе указаны Qwen/Qwen3.8-27B, JonathanColetti/Qwen3.8-27B-Uncensored, mradermacher/Qwen3.8-27B-Uncensored-i1-GGUF и incoai/Qwen3.8-27B-DFlash2. Сборка предназначена для запуска через llama.cpp и оптимизирована разработчиком fallentree для двух видеокарт Tesla P100 с архитектурой Pascal sm_60. Основной файл использует квантизацию Q4_1_G64 примерно на 4,5 бит на вес и занимает около 15 ГиБ; выходная голова хранится в Q8_0, эмбеддинги — в Q4_1, используется calibration imatrix. В комплект входят отдельная DFlash-модель для speculative decoding и vision projector в формате F16, поэтому сборка поддерживает обработку текста и изображений. Заявлены английский и китайский языки, а также контекст до 128K токенов. Для максимальной производительности требуется специальная ветка llama.cpp-gp100 с поддержкой sm_60, LoopSpec и связанных оптимизаций; стандартный llama.cpp не загружает тип Q4_1_G64, но может использовать поставляемый вариант Q4_1. Главное преимущество — оптимизация скорости декодирования и работы с длинными сессиями на Tesla P100: в приведённых тестах G64 быстрее Q4_1 примерно на 10% в обычном режиме и на 4,8% в сценарии с контекстом 128K и компактированием. Ограничения включают зависимость от специализированного программного стека и оборудования sm_60, несовместимость с P40 и видеокартами GTX 10-й серии, а также небольшое ухудшение perplexity и более слабые результаты на коротких запросах по сравнению с Q4_1. Лицензия — Apache-2.0.

Qwen3.8-27B-Uncensored-INT8-W8A16-MTP — это мультимодальная квантизированная версия модели Qwen3.8-27B-Uncensored, опубликованная morikomorizz на основе исходной модели OrcaRouter и семейства Qwen. Модель предназначена для генерации текста и обработки изображений с текстом, включая диалоговые и аналитические сценарии. В README заявлена поддержка английского и китайского языков, а максимальный контекст составляет до 262 144 токенов. Модель использует формат W8A16: основные матричные вычисления выполняются с весами INT8 и активациями BF16, а vision tower, lm_head, MTP-компоненты и отдельные чувствительные элементы сохраняют BF16 или FP32. Размер весов на диске составляет около 29,4 ГБ, что позволяет запускать модель на одной RTX 4090 или A6000, а также на двух RTX 3090 с tensor parallelism. Поддерживаются vLLM, Marlin и speculative decoding через MTP; это не GGUF-модель. Ключевое преимущество — существенное снижение требований к памяти при заявленном близком к исходному качеству, однако производительность и совместимость зависят от подходящих GPU и версии vLLM. Исходная модель является abliterated, то есть с существенно удалёнными механизмами отказа, поэтому она может выполнять вредоносные или неэтичные запросы и требует осторожного применения. Лицензия — Apache 2.0, унаследованная от базовой модели.