I.14Автоматизация процессов и AI-агенты

Meta Llama 3.1 8B — авторегрессионная языковая модель на оптимизированной архитектуре Transformer с Grouped-Query Attention. Это базовая предварительно обученная версия семейства Llama 3.1; веса представлены в формате Safetensors и предназначены для генерации текста и последующей адаптации под разные задачи. Модель принимает текст и генерирует текст. Модель подходит для генерации естественного языка, создания диалоговых и прикладных систем после настройки, а также для подготовки синтетических данных. В карточке семейства заявлена поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. Для этой базовой версии README не заявляет оптимизацию под диалоговые сценарии: она отличается от instruction-tuned вариантов, которые обучались с SFT и RLHF. Разработчик — Meta. Для использования действует специальная коммерческая лицензия Llama 3.1 Community License и Acceptable Use Policy. Модель обучена на статическом наборе данных; качество и безопасность генерации могут различаться между языками, а применение на языках за пределами восьми заявленных требует дополнительной настройки и мер контроля.

Llama-3-Swallow-70B-Instruct-v0.1 — диалоговая языковая модель команды Swallow-LLM из Токийского технологического института и AIST, основанная на Meta Llama 3. Модель прошла дополнительное предобучение с упором на японские данные, а версия Instruct — дообучение с учителем и настройку Chat Vector. Это плотная модель семейства Llama с 69,5 млрд параметров, принимающая и генерирующая текст; окно контекста составляет 8192 токена. Модель предназначена для диалога и выполнения инструкций на японском и английском языках. Среди проверявшихся задач — ответы на вопросы, чтение и понимание текста, суммаризация, перевод между японским и английским, математические рассуждения и генерация кода. В README приведены результаты на японских и английских бенчмарках, включая MT-Bench JA. Разработчики предупреждают, что модель находится на ранней стадии исследований и разработки и не настроена для надёжного следования человеческим намерениям и требованиям безопасности. Метаданные указывают лицензию Llama 3 (llama3); перед использованием следует учитывать её условия.

M7Yamshadowexperiment28_T3qm7xNeuralsirkrishna — объединённая текстовая модель на архитектуре Mistral, созданная слиянием automerger/M7Yamshadowexperiment28-7B и automerger/T3qm7xNeuralsirkrishna-7B. Она предназначена для генерации текста и диалогов, включая сценарии с длинными запросами благодаря контексту до 32 768 токенов. Модель содержит 7,1 млрд параметров и распространяется в формате Safetensors по лицензии Apache-2.0.

MegaBeam-Mistral-7B-300k — языковая модель AWS, дообученная на базе Mistral-7B-Instruct-v0.2. Она предназначена для диалоговой генерации текста и работы с длинными документами: заявленная длина входного контекста достигает 320 тысяч токенов, а метаданные указывают нативный контекст около 288,8 тысячи токенов. Модель имеет плотную архитектуру MistralForCausalLM и 7,1 млрд параметров. Модель подходит для вопросов и ответов по объёмным документам, извлечения сведений из длинного контекста и диалоговых сценариев. В опубликованной карточке приведены результаты оценки на InfiniteBench, включая задачи поиска ключей и чисел в длинном контексте; показатели различаются между задачами. README описывает запуск на крупном экземпляре AWS и через vLLM или SageMaker DJL. Поддерживаемые языки отдельно не перечислены. Модель распространяется по лицензии Apache 2.0. Перед применением AWS рекомендует самостоятельно оценить её качество и соответствие требованиям конкретного использования.

Это квантизированная версия Meta-Llama-3.1-70B-Instruct в формате GGUF, подготовленная пользователем MaziyarPanahi на основе исходной модели Meta-Llama-3.1-70B-Instruct, разработанной Meta (meta-llama). Модель предназначена для генерации текста и диалоговых сценариев, включая локальный запуск через совместимые приложения и библиотеки. Модель относится к семейству Llama 3.1 и имеет размер 70B; в README указаны варианты квантования с разрядностью 2, 3, 4, 5, 6 и 8 бит. Поддерживаются текстовые входы и выходы, а заявленные языки включают английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский. Формат GGUF совместим с llama.cpp, llama-cpp-python, LM Studio, text-generation-webui и другими инструментами локального инференса. Ключевые преимущества — выбор уровней квантования, возможность локального использования и поддержка GPU в ряде совместимых инструментов. Ограничения и требования к лицензии, точный размер контекста, архитектурные детали, качество на отдельных задачах и необходимые аппаратные ресурсы в README не указаны. Условия лицензирования также не приведены, поэтому их следует уточнить в материалах исходной модели Meta-Llama-3.1-70B-Instruct.

Meta-Llama-3-8B-Instruct-GGUF — квантизированная версия 8-миллиардной инструкционно дообученной языковой модели Meta Llama 3, разработанной Meta. Квантизацию выполнила SanctumAI. Модель предназначена прежде всего для диалоговых сценариев, генерации текста и выполнения инструкций; поддерживает работу через формат GGUF и различные варианты квантизации, рассчитанные на запуск с уменьшенными требованиями к памяти. Модель является текстовой и, согласно карточке, поддерживает английский язык. Исходная модель относится к семейству Llama 3 с размерами 8B и 70B, однако для данной версии указан размер 8B. Доступны варианты от Q2_K до Q8_0, а также f16; размер файлов составляет примерно от 3,18 до 16,07 ГБ, оценочное потребление памяти — от 7,20 до 19,21 ГБ в зависимости от варианта. Карточка не указывает размер контекстного окна и конкретную архитектуру. Сильные стороны модели — оптимизация для диалогов, заявленная высокая эффективность на распространённых отраслевых бенчмарках среди открытых чат-моделей, а также возможность выбрать баланс качества и требований к памяти с помощью квантизации. Ограничения включают возможные неточные, вредные, оскорбительные или вводящие в заблуждение ответы; результаты требуют проверки. Модель распространяется по лицензии Llama 3; точные условия следует уточнять в файле LICENSE.

ThomasBaruzier/Meta-Llama-3-8B-Instruct-GGUF — это версия модели Meta Llama 3 8B Instruct в формате GGUF, подготовленная пользователем ThomasBaruzier. Базовая модель разработана Meta и предназначена для генерации текста на основе инструкций и диалогового взаимодействия. Модель относится к текстовым генеративным моделям и ориентирована на англоязычные сценарии: ответы на запросы, ведение диалога и выполнение текстовых инструкций. В карточке указаны размер 8B, формат GGUF и английский язык; сведения о длине контекста, конкретной архитектуре, вариантах квантования и поддержке других модальностей отсутствуют. К сильным сторонам относятся специализированная настройка для следования инструкциям и возможность использования в экосистеме GGUF. Ограничения включают отсутствие мультимодальности и неполные сведения о конфигурации конкретной сборки; качество ответов и требования к ресурсам зависят от выбранного варианта GGUF. Модель распространяется по Meta Llama 3 Community License. При распространении материалов или производных продуктов требуется соблюдать условия лицензии, Acceptable Use Policy и требования Meta к атрибуции, включая указание «Built with Meta Llama 3» в применимых случаях.

Это набор GGUF-квантизированных версий instruct-модели meta-llama/Llama-3.1-8B-Instruct, подготовленный командой featherless-ai-quants. Модель относится к задачам генерации текста и предназначена для диалоговых сценариев, следования инструкциям и локального или серверного запуска в совместимых средах, поддерживающих формат GGUF. В основе лежит языковая модель Llama 3.1 с 8 миллиардами параметров; README не уточняет архитектуру, языки и размер контекстного окна. Доступны варианты квантизации IQ4_XS, Q2_K, Q3_K_L, Q3_K_M, Q3_K_S, Q4_K_M, Q4_K_S, Q5_K_M, Q5_K_S, Q6_K и Q8_0 размером примерно от 3 до 8 ГБ. Более компактные варианты снижают требования к памяти, тогда как версии с более высокой точностью потенциально лучше сохраняют исходное качество, но требуют больше ресурсов. Сильной стороной набора является выбор уровней квантизации для разных аппаратных ограничений и сценариев развертывания. Ограничения включают возможные потери качества из-за квантизации и необходимость использовать совместимое программное обеспечение для GGUF. Лицензия в README не указана; условия использования следует уточнять по лицензии исходной модели Llama 3.1 и условиям распространения данного набора.

MiniCPM5-2B-RotSVDMix — это сжатая и квантизованная версия языковой модели openbmb/MiniCPM5-2B, опубликованная ewin-reg. Модель предназначена для генерации текста, диалоговых сценариев, написания и анализа кода, суммаризации и запуска на устройствах с ограниченными ресурсами, включая мобильные и периферийные устройства. Поддерживаются английский и китайский языки; модель относится к текстовым causal language models и поставляется в формате SafeTensors. Модель содержит около 2 миллиардов параметров и основана на 42 слоях трансформера. Благодаря сочетанию ортогонального вращения, низкорангового SVD и квантизации ExTernD она занимает 1 985 213 632 байта, то есть менее 2 ГБ. Заявлена совместимость с PyTorch, Hugging Face Transformers, vLLM и TGI без необходимости компиляции специализированного C++-рантайма. Длина контекста в README не указана. На тестовой выборке WikiText-2 модель показала perplexity 20,92 против 20,46 у базовой FP16-версии, что соответствует ухудшению примерно на 2,25%. Косинусное сходство логитов с базовой моделью составило 98,70%, совпадение наиболее вероятного токена — 96%, а пересечение пяти наиболее вероятных токенов — 100% на ограниченном наборе из 25 промптов. Эти результаты указывают на хорошее сохранение поведения исходной модели при существенном уменьшении размера, однако качество может зависеть от задачи, языка и входных данных; заявленные измерения не заменяют полноценную оценку прикладных сценариев. Модель распространяется по лицензии Apache 2.0.

MaziyarPanahi/Mistral-11B-Instruct-v0.2-Mistral-7B-Instruct-v0.2-slerp — диалоговая языковая модель, созданная слиянием Mistral-7B-Instruct-v0.2 от Mistral AI и Mistral-11B-Instruct-v0.2 от perlthoughts. Для объединения использован метод SLERP с настройками для слоёв self-attention и MLP. Модель построена на архитектуре MistralForCausalLM, содержит 7,1 млрд параметров и работает с контекстом до 32 768 токенов. Модель предназначена для генерации текста в диалоге и ответов на инструкции. Она принимает текст и выдаёт текст; доступные сведения не указывают на специализацию по отдельным языкам или предметным областям. Репозиторий содержит веса Safetensors. Лицензия — Apache-2.0.

Mistral-7B-claude-instruct-Mistral-7B-Instruct-v0.2-slerp — диалоговая языковая модель на архитектуре Mistral, созданная слиянием Mistral-7B-Instruct-v0.2 и Norquinal/Mistral-7B-claude-instruct методом SLERP. Модель содержит 7,1 млрд параметров и рассчитана на генерацию текста и ответы на инструкции в формате чата; заявленная длина контекста — до 32 768 токенов. Модель подходит для диалоговых приложений, ответов на вопросы и генерации текста по запросу. Веса опубликованы в формате safetensors. Лицензия — Apache-2.0.

Mistral-Nemo-Instruct-2407-GGUF — это набор файлов модели в формате GGUF для инструкционной языковой модели Mistral-Nemo-Instruct-2407, разработанной Mistral AI. Квантизацию и публикацию файлов выполнил MaziyarPanahi. Модель предназначена для генерации текста и выполнения инструкций, включая локальные сценарии использования через совместимые приложения и библиотеки. В репозитории представлены варианты с 2-, 3-, 4-, 5-, 6- и 8-битной квантизацией. Формат GGUF разработан командой llama.cpp и поддерживается llama.cpp, llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All, LoLLMS Web UI, Faraday.dev, candle и другими инструментами. Ключевое преимущество — возможность запуска квантизированных версий локально с использованием CPU и GPU, однако конкретные требования к ресурсам и производительность зависят от выбранного варианта квантизации и программного окружения. README не содержит сведений об архитектуре, размере, поддерживаемых языках, длине контекста, модальностях, сильных сторонах базовой модели или лицензии. Поэтому эти характеристики нельзя надежно определить по представленным данным.

Occiglot-7B-DE-EN-Instruct — генеративная языковая модель с открытыми весами, разработанная Occiglot Research Collective. Это плотный авторегрессионный трансформер Mistral с 7,1 млрд параметров, настроенный на выполнение инструкций на английском и немецком языках. Модель также обучалась на инструкциях, связанных с кодом. Модель подходит для диалогов, ответов на инструкции и генерации текста на английском и немецком языках. Она обучена в формате ChatML, а её контекстное окно составляет 32 768 токенов. Это первая версия исследовательского проекта Occiglot; авторы отмечают, что результаты оценки предварительные, а часть неанглоязычных тестов основана на машинном переводе. Модель не проходила выравнивание по безопасности и может выдавать проблемные ответы. Для использования предоставлены веса в формате safetensors; лицензия — Apache 2.0.

Octen-Embedding-8B-INT8 — текстовая embedding-модель, разработанная Octen на основе Qwen/Qwen3-Embedding-8B и дообученная методом LoRA. Она предназначена для семантического поиска, retrieval-сценариев, оценки сходства текстов и построения векторных представлений документов, запросов и кода. Заявлены прикладные области: юридические документы, финансовые отчёты и вопросы, медицинские диалоги и консультации, программирование и SQL-поиск. Модель содержит около 8 млрд параметров, использует INT8-квантизацию через bitsandbytes и формирует embeddings размерностью 4096. README указывает поддержку английского, китайского и более чем 100 языков, включая языки программирования, а также мультиязычный, кросс-языковой и code retrieval. Заявлена работа с очень длинным контекстом: до 32 768 токенов в основных характеристиках, при этом в разделе Model Details указано значение 40 960 токенов. Память для INT8-версии оценивается примерно в 8 ГБ против около 16 ГБ для BF16-версии. К сильным сторонам относятся высокая заявленная точность retrieval, поддержка специализированных доменов, мультиязычность, большая размерность embeddings и сниженное потребление памяти. На RTEB модель указана как лидер по состоянию на 12 января 2026 года со средним показателем 0,8045. Ограничение заключается в том, что INT8-квантизация не гарантирует ускорения инференса и на некоторых аппаратных платформах может работать немного медленнее BF16-версии; также следует учитывать расхождение в заявленной максимальной длине контекста. Модель распространяется по лицензии Apache-2.0.

OpenChat 3.6 8B 20240522 — языковая модель семейства OpenChat, разработанная командой OpenChat и основанная на Meta Llama 3 8B. Данный репозиторий содержит её GGUF-квантизации, предназначенные для локального запуска и эффективного развертывания. Модель работает в режиме генерации текста и диалогов, поддерживает совместимый с OpenAI ChatCompletion API сервер и может использоваться через OpenChat Web UI. Модель имеет около 8 миллиардов параметров, относится к текстовым моделям и обучалась с применением подхода C-RLFT на данных смешанного качества. README не указывает точный размер контекстного окна и перечень поддерживаемых языков. Для работы рекомендуется шаблон подсказок на основе формата Llama 3; сервер оптимизирован для высокой пропускной способности и, согласно README, может запускаться на потребительском GPU с 24 ГБ памяти. Квантизация снижает требования к ресурсам, но конкретные варианты GGUF могут различаться по размеру и качеству. Сильными сторонами заявлены производительность на уровне открытых 8B-моделей и улучшенное следование инструкциям и few-shot-шаблонам по сравнению с некоторыми альтернативами. Ограничениями являются зависимость качества и скорости от выбранного типа квантизации, а также отсутствие в предоставленных данных подробных результатов тестирования, точного контекстного окна и языкового охвата. Репозиторий распространяется по лицензии Llama 3; условия её применения следует учитывать при использовании модели.

OpenHermes-2.5-Mistral-7B-AWQ — это 4-битная AWQ-квантизованная версия языковой модели OpenHermes 2.5 Mistral 7B. Исходную модель разработала Teknium, а квантизацию выполнил TheBloke. Модель основана на архитектуре Mistral и предназначена для генерации текста, диалоговых сценариев и выполнения инструкций на английском языке. Модель содержит около 7 млрд параметров, использует формат взаимодействия ChatML и рассчитана на контекст длиной до 4096 токенов. Доступная сборка имеет групповой размер AWQ 128, обучающий набор для калибровки wikitext и размер около 4,15 ГБ. Квантизация снижает требования к памяти и предназначена прежде всего для быстрого GPU-инференса через AutoAWQ, vLLM, Text Generation Inference или text-generation-webui. К сильным сторонам относятся компактный размер, высокая скорость инференса и возможность запуска на совместимом пользовательском оборудовании. Ограничения включают поддержку только английского языка в заявленных метаданных, зависимость от совместимого AWQ-инструментария и потенциальные потери качества по сравнению с исходной моделью в формате FP16, характерные для квантизованных моделей. Модель распространяется по лицензии Apache-2.0.

bartowski/Qwen2.5-14B-Instruct-1M-GGUF — это набор GGUF-квантизированных версий языковой модели Qwen2.5-14B-Instruct-1M, разработанной командой Qwen и подготовленной bartowski с использованием llama.cpp и imatrix-квантизации. Модель предназначена для диалоговой генерации текста и других задач text-generation, включая локальное использование через llama.cpp и LM Studio. В README явно указан английский язык; формат взаимодействия предусматривает системные, пользовательские и ассистентские сообщения. Модель содержит 14B параметров и поддерживает контекст размером до 1M токенов согласно идентификатору и названию базовой модели. Доступны варианты от F32 и F16 до Q8_0, Q6, Q5, Q4, Q3 и Q2 с размерами файлов примерно от 6,5 до 59 ГБ. Старшие варианты обеспечивают более высокое качество, а младшие требуют меньше оперативной памяти, но заметно уступают по качеству; некоторые варианты используют legacy-форматы или оптимизации для CPU и Apple Silicon. Конкретные требования к оборудованию и производительность в README не указаны. Распространение выполняется по лицензии Apache 2.0. Для использования необходимо учитывать значительный объём модели и выбрать подходящий уровень квантизации в зависимости от доступной памяти и требований к качеству.

bunnycore/Qwen2.5-1.5B-Matrix — объединённая языковая модель, созданная автором репозитория с помощью mergekit и метода Model Stock. В качестве базовой использована Qwen/Qwen2.5-1.5B-Instruct; в объединение также вошли варианты Qwen2.5 для математики и программирования и Josiefied-Qwen2.5-1.5B-Instruct-abliterated-v1. Модель имеет архитектуру Qwen2ForCausalLM и 1,5 млрд параметров. Модель предназначена для генерации текста и диалогов, включая ответы на инструкции, задачи по программированию и математике. Она принимает текст и выдаёт текст; заявленная длина контекста — 32 768 токенов. Модель доступна в формате safetensors для библиотеки Transformers. Сочетание нескольких специализированных моделей расширяет набор задач, для которых её можно применять, но README не приводит сравнительных оценок качества или подробных результатов тестирования. Лицензия в предоставленных данных не указана.

RedHatAI/Qwen2.5-1.5B-quantized.w8a8 — квантизированная версия языковой модели Qwen2.5-1.5B, разработанная Neural Magic. Модель предназначена для генерации текста и ассистентских диалогов, включая коммерческое и исследовательское применение на нескольких языках. На вход принимает текст и возвращает текст; заявленный язык — английский. Архитектура — Qwen2, размер — 1,5 млрд параметров. Модель использует INT8-квантизацию весов и активаций, что примерно на 50% снижает требования к видеопамяти и размер диска, а также может примерно вдвое увеличить производительность матричных умножений. Квантизуются линейные операторы в трансформерных блоках: веса — статически по каналам, активации — динамически для каждого токена. Для эффективного развертывания рекомендуется vLLM; в README указан контекст до 8192 токенов. По среднему результату OpenLLM Leaderboard модель набрала 58,34 против 58,48 у неквантизированной версии, сохранив 99,8% исходного результата. Ограничениями являются снижение точности по отдельным задачам и отсутствие в предоставленных данных подробной информации о поддерживаемых языках, безопасности, специализированных доменах и качестве за пределами указанных бенчмарков. Модель распространяется по лицензии Apache-2.0; использование не должно нарушать применимое законодательство и нормативные требования.

Qwen2.5-7B-Instruct-MLX-8bit — это 8-битная MLX-квантизация инструкционной языковой модели Qwen2.5-7B-Instruct, разработанной командой Qwen. Квантизацию подготовил bartowski на основе примеров MLX от Apple, а распространение модели поддерживается сообществом LM Studio. Модель предназначена для генерации текста и диалоговых сценариев на совместимых компьютерах Apple Silicon. Модель имеет около 7 миллиардов параметров и работает с текстом. Она поддерживает контекст до 32 тысяч токенов и генерацию до 8 тысяч токенов, а также заявленную работу более чем с 29 языками, включая английский, китайский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. Среди отмеченных возможностей — обработка и генерация структурированных данных. К сильным сторонам относятся многоязычность, поддержка длинного контекста и адаптация для эффективного запуска через MLX на Apple Silicon. Ограничениями являются зависимость от платформы Apple Silicon и возможные потери качества, связанные с 8-битной квантизацией; конкретные результаты тестирования в README не указаны. Модель распространяется по лицензии Apache 2.0.

Qwen3-30B-A3B-Instruct-2507-GGUF — это набор файлов модели в формате GGUF для оригинальной модели Qwen3-30B-A3B-Instruct-2507, разработанной командой Qwen. Квантизацию и публикацию набора выполнил MaziyarPanahi. Модель предназначена для генерации текста и использования в локальных приложениях и сервисах, поддерживающих GGUF. Доступны варианты квантизации с разрядностью 2, 3, 4, 5, 6 и 8 бит, что позволяет выбирать компромисс между размером файлов, требованиями к памяти и качеством генерации. Формат совместим с llama.cpp и рядом инструментов, включая llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All, candle и другие. Архитектура, число активных параметров, модальности, языки и размер контекста в README не указаны. Сильная сторона модели — возможность локального запуска и выбора уровня квантизации в зависимости от доступного оборудования. Ограничения связаны с тем, что качество и производительность конкретного варианта зависят от выбранной разрядности и совместимого программного окружения. Лицензия в предоставленных данных не указана.

Qwen3.5-9B-AWQ-INT4 — квантизированная версия языковой модели Qwen3.5-9B, разработанной командой Qwen. Это текстовая генеративная модель для работы с английским языком, включая генерацию и продолжение текста, диалоговые сценарии и другие задачи, поддерживаемые базовой моделью через библиотеку Transformers. Модель использует 4-битное квантование весов по схеме AWQ (INT4 weight-only), благодаря чему занимает примерно 7,7 ГБ на диске и требует меньше памяти, чем полноразмерная версия. Для запуска указан контекст до 32 768 токенов и совместимость с vLLM. README не содержит подробностей о внутренней архитектуре базовой модели, точном количестве параметров сверх обозначения 9B, мультимодальности или результатах сравнительных тестов. Ключевое преимущество модели — сниженное потребление памяти при сохранении назначения исходной Qwen3.5-9B. Ограничения включают поддержку только английского языка, а также возможное снижение точности и качества по сравнению с исходной моделью из-за 4-битного квантования. Модель распространяется по лицензии Apache License 2.0 как производная работа Qwen3.5-9B; для использования необходимо учитывать требования лицензии и атрибуции.

z-lab/Qwen3.5-9B-PARO — это 4-битная версия языково-визуальной модели Qwen/Qwen3.5-9B, квантованная методом ParoQuant. Модель разработана командой z-lab; метод описан в работе ParoQuant: Pairwise Rotation Quantization for Efficient Reasoning LLM Inference. Модель предназначена для эффективного запуска задач генерации и рассуждений на языковых данных, а также мультимодальных сценариев с обработкой изображений и текста. Она поддерживает работу на NVIDIA GPU через vLLM и Transformers и на устройствах Apple Silicon через MLX. Архитектура и поддерживаемые языки унаследованы от базовой Qwen/Qwen3.5-9B, но их подробные характеристики в README не указаны. Ключевая особенность — квантование языковых компонентов до INT4, обеспечивающее уменьшенный размер и ускоренный inference при заявленном качестве, близком к FP16, и скорости около уровня AWQ. Визуальные компоненты хранятся в исходной точности, поэтому модель крупнее полностью квантованной версии; при отсутствии мультимодальных задач их рекомендуется не загружать для повышения эффективности. Контекстное окно, точные требования к памяти и результаты бенчмарков не указаны. Модель распространяется по лицензии Apache-2.0. Для использования требуется совместимое окружение ParoQuant; README содержит варианты запуска через vLLM, Transformers и MLX.

SwagMessiah100/Qwen3.6-27B-Fable-Fusion-711-Uncensored-Heretic-NM-DAU-NEO-MAX-MTP-GGUF — многоэтапная дообученная и объединённая версия Qwen3.6 с 27 млрд параметров. Модель создана в сотрудничестве SwagMessiah, DavidAU, Nightmedia, TeichAI, armand0e и trohrbaugh; при обучении использовались собственные и сторонние наборы данных, включая Polar-STRICT-Datasets и F451-STRICT-Datasets. Доступны обычные и MTP GGUF-квантизации, включая варианты с оптимизированными матрицами IMATRIX и частично сохранённой точностью 16 бит. Модель предназначена для широкого спектра задач: следования инструкциям, решения задач, рассуждений, программирования, диалогов, ролевых сценариев и творческого письма. Заявлены улучшенные интеллектуальные способности, reasoning и instruction following, а также поддержка vision, то есть обработки текста и изображений. Указаны английский и китайский языки. Контекстное окно, точная архитектура базовой модели и подробные характеристики мультимодального ввода в README не приведены. К сильным сторонам относятся заявленное превосходство базовой Qwen3.6 27B в большинстве авторских бенчмарков, хорошая работа даже с низкими уровнями квантизации и ориентация на запуск на потребительском оборудовании. Модель позиционируется как uncensored/heretic, поэтому её ответы могут иметь меньше встроенных ограничений безопасности. Результаты бенчмарков в основном представлены разработчиками и требуют независимой проверки. Лицензия — Apache-2.0.

aquaduck/Qwen3.8-27B-GGUF — это квантизированная GGUF-версия причинной языковой модели Qwen3.8-27B, разработанной командой Qwen и Alibaba Cloud. Репозиторий Aquaduck предоставляет полную модель в формате Q4_K_M, полученную из unsloth/Qwen3.8-27B-GGUF, а также дополнительные шардированные файлы для поэтапной или многосетевой загрузки. Aquaduck отвечает за хостинг и упаковку, а не за обучение или отдельную тонкую настройку модели. Модель предназначена для генерации текста и диалоговых сценариев, включая локальный запуск через совместимые с GGUF инструменты, такие как llama.cpp, а также использование в приложении Aquaduck. Она поддерживает мультиязычную работу в соответствии с возможностями базовой Qwen3.8-27B и рассчитана на контекст до 262 144 токенов. Архитектура включает около 27,8 млрд параметров, 64 слоя, GQA с 24 Q- и 4 KV-головами и размер скрытого состояния 5120. Ключевые преимущества — существенно меньший размер по сравнению с полноточными вариантами, совместимость с экосистемой GGUF и возможность staged loading с помощью двух шардов, разделённых после слоя 32. Полный файл подходит для обычного одноузлового запуска, тогда как отдельные шардированные файлы не являются самостоятельными моделями и предназначены только для Aquaduck Arc. Квантизация Q4_K_M может снижать качество по сравнению с версиями в более высокой точности; отдельные оценки для этого размещённого варианта не проводились, поэтому его ограничения, риски и смещения соответствуют базовой модели Qwen3.8-27B. Модель распространяется по лицензии Apache-2.0, унаследованной от базовой модели. При использовании необходимо соблюдать требования лицензии и рекомендации базовой карточки модели, включая корректный chat template и режимы thinking или instruct.

Qwen3.8-27B-NVFP4 — квантизированная версия мультимодальной модели Qwen3.8-27B, созданная vrfai на основе исходной модели Qwen. Она предназначена для задач понимания текста и изображений, включая визуальные вопросы и ответы, анализ документов, диаграмм, OCR и математических изображений. Модель рассчитана на использование через Transformers и vLLM. Модель имеет 27 млрд параметров и распространяется в формате NVFP4 W4A4 с сериализацией compressed-tensors. Размер контрольной точки составляет 18,4 ГБ против 52 ГБ у базовой модели. Квантизация применяется к 93,28% весов линейных слоёв; отдельные компоненты, включая зрительную башню, lm_head, нормализации, эмбеддинги и некоторые слои Gated DeltaNet, сохранены в bf16. В архитектуре используются attention и Gated DeltaNet, однако размер контекстного окна и список поддерживаемых языков в карточке не указаны. Основное преимущество модели — существенно меньшее потребление памяти при сохранении мультимодальных возможностей. При наличии GPU с compute capability 10.0 или новее, например NVIDIA Blackwell B100, B200 или GB200, поддерживается полноценная NVFP4-арифметика. На H100, H200 и графических процессорах Ada модель работает через weight-only путь Marlin FP4: экономия памяти сохраняется, но вычисления, особенно при обработке длинных входов и больших пакетов, могут быть медленнее, чем у версии bf16. Результаты тестов показывают измеримые потери на отдельных задачах компьютерного зрения и обработки документов; опубликованные оценки не следует напрямую считать показателями полноценного W4A4-режима на Blackwell. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-Opus-Distill-v2-GGUF — семейство GGUF-квантизаций модели barozp/Qwen3.8-27B-Opus-Distill-v2, разработанной сообществом на базе Qwen/Qwen3.8-27B. Это плотная модель на 27 млрд параметров с гибридной архитектурой Gated-DeltaNet и full-attention, 64 слоями, поддержкой текста и изображений или видео через отдельный vision-модуль mmproj. Модель предназначена для диалогов, генерации текста и решения задач, требующих рассуждений; исходная модель дообучена методом LoRA на 11 716 проверенных примерах рассуждений, связанных с Opus. Главное назначение версии v2 — исправление дефекта v1, при котором некоторые сочетания ограничений формата могли запускать бесконечный цикл самопроверки без видимого вывода. По данным README, новая версия корректно завершается на проверенных тестах и показывает заметный прирост относительно базовой модели в ARC Challenge и GPQA Diamond, при сопоставимых результатах на MMLU и wikitext. Доступны варианты от BF16 и Q8_0 до экстремально низкобитных IQ-квантизаций; Q4_K_M указан как сбалансированный вариант, а выбор зависит от объёма доступной видеопамяти. IQ-квантизации требуют imatrix и актуальной поддержки llama.cpp. Модель может использоваться в llama.cpp в текстовом режиме, а для мультимодального ввода требуется отдельный vision-файл mmproj. Поддержка языков и размер контекстного окна в README не указаны. К ограничениям относятся потери качества при низкобитной квантизации, повышенные требования к памяти для старших вариантов и необходимость отдельного vision-модуля для изображений и видео. Указанная лицензия — Apache-2.0.

Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NEO-CODER-MAX-MTP-GGUF — это многоэтапная fine-tune-модель на базе Qwen3.8-27B, опубликованная schwyzquant и созданная с использованием наработок DavidAU и инструментов Unsloth. Модель распространяется в формате GGUF, включая обычные и MTP-варианты квантования, с заявленной поддержкой 4- и 8-битных конфигураций. Модель предназначена для решения общих задач, рассуждений, программирования, творческого письма, художественной прозы, ролевого взаимодействия и других сценариев генерации текста. Основные заявленные цели дообучения — повысить способность к решению задач, сократить объём рассуждений и ускорить генерацию при сохранении детализации и качества ответов. Указаны языки English и Chinese; архитектура основана на Qwen3.8 с 27 миллиардами параметров. Размер контекста в README не указан. К сильным сторонам относятся акцент на подробных ответах, программировании, творческих сценариях и сокращении избыточного «мышления», а также возможность запуска квантованных вариантов на потребительском оборудовании. Заявления о превосходстве над базовыми и другими моделями основаны на приведённых автором бенчмарках и не сопровождаются независимой проверкой в README. Ограничения включают отсутствие подробных данных о контекстном окне, точной архитектуре, системных требованиях и качестве по отдельным задачам; характеристики могут различаться между квантованными версиями. Модель описывается как uncensored, поэтому её ответы могут требовать дополнительной фильтрации и контроля. Лицензия — Apache-2.0.

MiawTeam/Qwen3.8-27B-Uncensored-GGUF — набор GGUF-квантизаций модели Qwen3.8-27B, разработанный MiawTeam на базе Qwen/Qwen3.8-27B и предназначенный для запуска через llama.cpp. Модель ориентирована на генерацию текста, включая диалоги, работу с английским и китайским языками, а при наличии vision tower в базовой модели — обработку изображений. Доступны варианты IQ4_XS, Q4_K_M, Q5_K_M, Q6_K и Q8_0, а также конфигурации со встроенной или отдельной MTP-головой для speculative decoding. Модель использует архитектуру Qwen3_5ForConditionalGeneration с 64 слоями, словарём из 248 320 токенов, контекстом до 262 144 токенов и одной MTP-головой. Веса были обработаны методом abliteration с помощью Heretic для существенного снижения отказов без дополнительного обучения и без использования новых данных; при этом базовые возможности, обучающие данные и архитектура заявлены как сохранённые. MTP-тензоры проверены после конвертации и квантизации, а imatrix рассчитана непосредственно из F16-весов. Сильные стороны — большой контекст, поддержка текстовой и потенциально визуальной модальности, несколько уровней квантизации и возможность ускорения генерации за счёт speculative decoding. Ограничения включают зависимость производительности от оборудования и настроек draft decoding, потенциальное небольшое снижение acceptance rate для черновой головы, а также то, что снижение отказов не является полным. В сравнении с базовой моделью среднее изменение результатов на указанных 0-shot тестах составило около −0,5 и находится в пределах или около стандартной ошибки измерений. Распространение указано по лицензии Apache-2.0.

Это GGUF-квантизация модели Qwen3.8-Flash-Next, разработанной командой Qwen и дополнительно подготовленной пользователем pugant для AMD Strix Halo с унифицированной памятью. Модель предназначена для генерации текста и запуска локальных LLM-сценариев на системах с Radeon 8060S и архитектурой gfx1151; при использовании совместимого runtime также заявлена поддержка vision через отдельный mmproj-модуль. Модель использует архитектуру qwen4exp и имеет около 180 млрд параметров в общей структуре: 125 млрд базовой части, около 6 млрд активных параметров, 51 млрд параметров PLE n-gram table и 4 млрд параметров MTP. Репозиторий содержит две сборки: ROCmFP4 STRIX_LEAN для систем с 128 ГБ памяти и смешанную ROCmFP2 STRIX_LEAN с 2-битными, FP4 и Q3-компонентами для систем с 64 ГБ. Поддерживаются английский и другие языки; заявлен контекст до 131 тыс. токенов. Сильные стороны модели — высокая эффективность по памяти для крупной MoE-подобной конфигурации, оптимизация под AMD Strix Halo, поддержка внешнего speculative-драфтера и возможность дискового размещения PLE-таблицы. Сборка ROCmFP4 обеспечивает более высокое качество, тогда как ROCmFP2 позволяет уложиться примерно в 56 ГБ оперативной памяти, но имеет заметный компромисс по качеству на отдельных тестах и больший дисковый объём. Для работы требуются специализированные форки ROCmFPX и совместимый runtime; стандартный llama.cpp эту квантизацию не загружает. Лицензия указана как qwen-community-1.0.