II.1Анализ требований и архитектура ПО

Undi95/Nous-Hermes-13B-Code — языковая модель генерации текста на архитектуре Llama с 12,9 млрд параметров. Она создана слиянием Nous-Hermes-Llama2-13b с LoRA-адаптером для кода из jondurbin/airoboros-lmoe-13b-2.1/adapters/code: README указывает веса слияния 0,70 и 0,30 соответственно. Модель предназначена для генерации кода и другого текста по текстовым запросам. Контекст составляет до 4096 токенов; репозиторий содержит веса PyTorch. По приведённым сведениям нельзя установить поддерживаемые естественные языки или конкретные языки программирования. Лицензия CC-BY-NC-4.0 ограничивает коммерческое использование. Результаты оценки в README приведены для отдельных бенчмарков и сами по себе не гарантируют качество на пользовательских задачах.

cahya/NusaBert-v1.2-sts — модель Sentence Transformers, дообученная разработчиком на базе cahya/NusaBert-v1.2 на наборе STSB. Она использует трансформер ModernBERT с mean pooling и кодирует предложения и абзацы в плотные векторы размерностью 768; сходство оценивается косинусной мерой. Модель предназначена прежде всего для оценки семантического сходства текстов, а также для семантического поиска, поиска перефразирований, кластеризации и классификации текста. Модель принимает текст на английском языке и поддерживает последовательности длиной до 8192 токенов. В README приведены результаты на STS-B: Spearman correlation 0,815 на dev и 0,7533 на test. Для прикладных сценариев качество может зависеть от домена и языка; подтверждена настройка на англоязычном STSB. Модель распространяется в формате safetensors; сведения о лицензии в предоставленных данных отсутствуют.

NVIDIA-Nemotron-Nano-12B-v2-GGUF — это набор GGUF-квантизаций языковой модели NVIDIA-Nemotron-Nano-12B-v2, разработанной NVIDIA и подготовленной пользователем bartowski. Модель предназначена для генерации текста и запуска локально через llama.cpp, LM Studio и другие совместимые проекты на базе llama.cpp. В набор входят версии с точностью от BF16 до Q3 и IQ3/IQ4, что позволяет выбирать между качеством, размером файла и требованиями к оперативной памяти. Полная BF16-версия занимает около 24,63 ГБ, а доступные квантизированные варианты — примерно от 5,69 ГБ. Квантизация выполнена с использованием imatrix на базе llama.cpp b6317. Архитектура исходной модели, число параметров, поддерживаемые языки, модальности и размер контекста в README не указаны; по представленным данным модель описывается как текстовая. Сильной стороной набора является широкий выбор уровней квантизации: Q6 и Q5 ориентированы на высокое качество, Q4 предлагают сбалансированный размер и качество, а Q3 и IQ3/IQ4 подходят для систем с ограниченной памятью. При этом более сильное сжатие может снижать качество генерации, а совместимость и производительность зависят от используемого приложения и оборудования. Лицензия в README не указана; условия следует уточнять на странице исходной модели NVIDIA-Nemotron-Nano-12B-v2.

Это GGUF-квантизированная версия языковой модели Qwen3-Nemotron-32B-RLBFF, разработанной NVIDIA. Квантизацию выполнил пользователь bartowski с помощью llama.cpp и метода imatrix. Модель предназначена для генерации текста и локального запуска в LM Studio, llama.cpp и других проектах на базе llama.cpp. Доступны варианты от BF16 и Q8_0 до низкобитных форматов Q6_K, Q5_K_M, Q4_K_M, Q3_K и IQ-семейства. Размер файлов варьируется примерно от 14,93 до 65,53 ГБ; Q4_K_M указан как вариант по умолчанию для большинства сценариев, а Q5 и Q6 — как варианты с более высоким качеством. Некоторые версии используют Q8_0 для embedding- и output-весов, а отдельные форматы ориентированы на ARM, AVX или Apple Silicon. Модель подходит для локальной текстовой генерации при наличии значительного объёма оперативной или видеопамяти. Чем агрессивнее квантизация, тем меньше требования к памяти, но тем ниже потенциальное качество. В README не указаны архитектурные детали, поддерживаемые языки, размер контекста, мультимодальные возможности и лицензия, поэтому эти характеристики нельзя достоверно определить по представленным данным.

BellaniAyoub/Octen-Embedding-4b-Finetuned — дообученная модель Sentence Transformers на базе Octen/Octen-Embedding-4B, основанной на архитектуре Qwen3. Она преобразует предложения и абзацы в плотные векторы размерностью 2560; для сравнения используется косинусное сходство. Максимальная длина входной последовательности — 40 960 токенов. Модель предназначена для семантического поиска, сравнения текстов и поиска перефразировок. Векторы также можно использовать для кластеризации и классификации текстов. Репозиторий содержит веса в формате safetensors и предназначен для работы с библиотекой Sentence Transformers. Лицензия в предоставленных данных не указана.

Orchestrator-8B GGUF — модель оркестрации инструментов и экспертных моделей, разработанная NVIDIA и University of Hong Kong. Эта версия распространяется пользователем Mungert в формате GGUF и создана с использованием llama.cpp. В основе лежит 8-миллиардная decoder-only Transformer-модель Qwen3-8B, обученная на GeneralThought-430K и ToolScale. Заявленный язык модели — английский; поддерживается генерация текста. Модель предназначена для сложных многошаговых и многоходовых агентских задач, в которых требуется координировать неоднородные инструменты, включая поиск, выполнение кода, а также специализированные и универсальные LLM. При обучении применялось многоцелевое обучение с подкреплением GRPO, оптимизирующее точность, задержку, стоимость и соответствие пользовательским предпочтениям. Разработчики заявляют об обобщении на ранее не встречавшиеся инструменты и конфигурации ценообразования. Согласно README, на Humanity’s Last Exam модель получила 37,1% и демонстрировала более высокую эффективность по сравнению с рядом крупных монолитных моделей, включая GPT-5, Claude Opus 4.1 и Qwen3-235B-A22B; также приводятся результаты на FRAMES и τ²-Bench. Конкретный размер контекста и характеристики модальностей не указаны. GGUF-файл подвергнут квантованию с выборочным повышением точности отдельных слоёв, что может улучшать качество при ограниченной разрядности ценой увеличения размера файла. Модель предназначена только для исследований и разработок и распространяется по лицензии Apache 2.0.

Ornith-1.5-397B — крупная языковая модель класса mixture-of-experts, разработанная командой Ornith AI. Она относится к семейству Ornith-1.5 и развивает Ornith-1.0, созданную на основе Qwen3.5 и Gemma4 с дополнительным предварительным обучением, промежуточным обучением и постобучением. В Ornith-1.5 совместно оптимизируются генерация задач, построение scaffold и rollouts решений в цикле самоулучшения с reinforcement learning. Модель предназначена прежде всего для сложных задач программирования и работы с инструментами, включая разработку и отладку программного обеспечения, выполнение задач в терминале и автономные инженерные сценарии. Это текстовая generative-модель с заявленным размером 397B параметров; в README она описана как flagship-модель семейства. Приведены высокие результаты на Terminal-Bench 2.1, DeepSWE и SWE-bench, однако сведения о поддерживаемых языках, длине контекста, дополнительных модальностях и требованиях к аппаратному обеспечению не указаны. К сильным сторонам относятся ориентация на агентные coding-сценарии, самоулучшение стратегий решения и конкурентные результаты на бенчмарках программирования. Ограничения включают очень большой размер и высокие потенциальные требования к ресурсам, а также отсутствие в предоставленных данных подробностей о фактических языковых возможностях, контекстном окне и эксплуатационных ограничениях. Модель распространяется по лицензии MIT.

DPolatajko/osm-nlp-setfit — модель Sentence-Transformers на базе MPNet, разработанная DPolatajko. Она преобразует предложения и абзацы в плотные векторы размерности 768 для семантического поиска, сравнения сходства текстов и кластеризации. Модель содержит 136,7 млн параметров, принимает текстовые последовательности длиной до 514 токенов и сохраняется в формате PyTorch. Обучение использовало CosineSimilarityLoss. Модель подходит для построения эмбеддингов и поиска текстов по смыслу; в карточке не указаны поддерживаемые естественные языки или специализированные предметные области. Лицензия в предоставленных данных не указана.

Paolo Embeddings — дообученная модель Sentence Transformers на базе BAAI/bge-small-en-v1.5, опубликованная lauragobrightly. Она преобразует предложения и абзацы в плотные векторы размерности 384, нормализованные для сравнения по косинусному сходству. Модель построена на архитектуре BERT, поддерживает последовательности длиной до 512 токенов и предназначена прежде всего для англоязычных текстов. Модель подходит для семантического поиска, сравнения сходства предложений, поиска перефразировок, кластеризации и классификации текстов на основе эмбеддингов. Она дообучена на 17 037 примерах с функцией потерь MultipleNegativesRankingLoss; в README приведён результат cosine accuracy 0,8489 на наборе paolo-eval. Доступны форматы Safetensors и ONNX, использовать модель можно через Sentence Transformers. Это компактная модель примерно на 40 млн параметров, но её контекст ограничен 512 токенами. Указанные оценки относятся к конкретному набору paolo-eval и сами по себе не гарантируют качество на других данных; в карточке не приведены условия лицензии.

Это Sentence Transformer на архитектуре BERT, дообученный автором yodyamahesa на базе google-bert/bert-base-multilingual-uncased. Модель преобразует предложения и абзацы в плотные векторы размерности 768; сходство между текстами можно оценивать косинусной близостью. Используется mean pooling, максимальная длина входной последовательности — 512 токенов. Модель предназначена для семантического сравнения текстов и поиска по смыслу. Её также можно применять для поиска перефразирований, кластеризации и классификации текста на основе эмбеддингов. Базовая модель многоязычная и поддерживает 102 языка; карточка не уточняет, на каких языках проводилось дообучение. Модель распространяется в формате safetensors; лицензия в предоставленных данных не указана.

ganser4566/paraphrase-multilingual-MiniLM-L12-v2 — многоязычная модель Sentence-Transformers на архитектуре BERT, обученная командой sentence-transformers. Она преобразует предложения и абзацы в плотные векторы размерности 384 и предназначена для сравнения семантической близости текстов, семантического поиска и кластеризации. Модель содержит 124,3 млн параметров, принимает текст и формирует векторные представления. Её контекстное окно — 512 токенов; в метаданных указана поддержка русского и ряда других языков, включая английский. Для использования доступны библиотека sentence-transformers и формат safetensors. Лицензия Apache-2.0 разрешает свободное использование на её условиях. Векторы подходят для поиска и группировки текстов, но качество зависит от языка, формулировок и выбранной схемы сравнения; модель сама по себе не генерирует ответы и не выполняет поиск по коллекции без дополнительной системы.

IoannisKat1 разработал эту модель Sentence Transformers на основе sentence-transformers/paraphrase-multilingual-mpnet-base-v2, дообучив её на 4 268 парах текстов. Модель преобразует предложения и абзацы в плотные векторы размерностью 768 и предназначена для поиска по смыслу и извлечения релевантных текстов; близость векторов можно оценивать косинусным сходством. Архитектура включает XLM-RoBERTa и mean pooling. Matryoshka-обучение позволяет использовать усечённые векторы меньшей размерности, с приведёнными в карточке результатами для 512, 256, 128 и 64 измерений. Модель принимает текст. В карточке указан английский язык, а примеры обучающих данных написаны на греческом, поэтому применимость к другим языкам не следует считать подтверждённой только по заявленному языку. Метаданные указывают 305,2 млн параметров и контекст до 514 токенов; README отдельно задаёт максимальную длину последовательности в 128 токенов. Лицензия — Apache-2.0.

PatentSBERTa — модель эмбеддингов предложений и абзацев, опубликованная AI: Growth-Lab при Aalborg University Business School. Она основана на архитектуре MPNet и преобразует текст в плотные векторы размерности 768; заявленные сценарии применения включают семантический поиск и кластеризацию. Модель содержит 136,7 млн параметров и принимает контекст длиной до 514 токенов. Модель обучалась с функцией потерь CosineSimilarityLoss и предназначена для представления текстов в общем векторном пространстве, чтобы сравнивать их семантическую близость. Доступна в формате PyTorch; для использования автор README рекомендует библиотеку Sentence-Transformers либо Transformers с соответствующей операцией pooling. Сведения о лицензии, целевом языке и специализированных патентных возможностях в предоставленных данных отсутствуют.

Pelago Sentence Transformer v1 — модель для получения векторных представлений предложений и абзацев, опубликованная пользователем amanpelago. Она преобразует текст в плотные эмбеддинги размерности 384, пригодные для семантического поиска, кластеризации и сравнения сходства. Модель основана на BERT и содержит 25,9 млн параметров; максимальная длина контекста — 512 токенов. Доступен формат PyTorch, использовать модель можно через библиотеку Sentence-Transformers. При обучении применялась Triplet Loss с евклидовой метрикой расстояния и отступом 5. Это делает модель подходящей для сценариев, где нужно находить близкие по смыслу тексты или группировать их по содержанию. В карточке не указаны поддерживаемые естественные языки и лицензия, поэтому нельзя подтвердить языковой охват или условия распространения и коммерческого использования.

dbourget/philai-bge-6e — модель эмбеддингов предложений и абзацев на базе архитектуры BERT, опубликованная пользователем dbourget. Она преобразует текст в плотные векторы размерностью 1024 и предназначена для семантического поиска, кластеризации и сравнения смысловой близости текстов. Модель содержит около 433,9 млн параметров, использует библиотеку Sentence Transformers и принимает контекст до 512 токенов. Векторы модели подходят для построения поисковых систем и группировки текстов по смыслу. В карточке не описаны языковое покрытие и специализированные предметные области. Репозиторий содержит веса в формате safetensors; сведения о лицензии отсутствуют в предоставленных данных.

sentence-transformers/quora-distilbert-multilingual — модель Sentence-Transformers, обученная командой sentence-transformers. Она преобразует предложения и абзацы в плотные векторы размерности 768 для сравнения смысловой близости, семантического поиска и кластеризации. Модель построена на DistilBERT и предназначена для работы с текстом; максимальная длина контекста составляет 512 токенов. Модель подходит для поиска похожих вопросов и текстов, группировки предложений по смыслу и получения эмбеддингов для поисковых систем. Доступны варианты весов PyTorch, TensorFlow, ONNX и OpenVINO; для удобной работы можно использовать библиотеку Sentence-Transformers. Модель распространяется по лицензии Apache-2.0.

Mactavish1996/qwen-0.6B-skills-finetuned — дообученная на 1 396 парах предложений модель Sentence Transformers на базе Qwen/Qwen3-Embedding-0.6B. Она кодирует предложения и абзацы в плотные векторы размерностью 1024 и сравнивает их косинусным сходством. Архитектура включает трансформер Qwen3, pooling по последнему токену и нормализацию; максимальная длина последовательности — 32 768 токенов. Модель предназначена для семантического поиска и сравнения текстов, поиска перефразировок, кластеризации и классификации текстов на основе эмбеддингов. Обучающие примеры охватывают короткие термины из разных областей, например названия технологий и продуктов. Лицензия и конкретные поддерживаемые естественные языки в предоставленных данных не указаны.

unsloth/Qwen2.5-Coder-1.5B-Instruct-bnb-4bit — это 4-битно квантованная instruction-tuned версия языковой модели Qwen2.5-Coder-1.5B, разработанной командой Qwen от Alibaba Cloud и опубликованной в формате, подготовленном Unsloth. Модель предназначена для генерации, анализа и исправления программного кода, кодового рассуждения, создания code agents, а также задач общего назначения и математики. Модель является авторегрессионной causal language model с архитектурой на базе transformers, RoPE, SwiGLU, RMSNorm, смещениями в Attention QKV и связанными эмбеддингами слов. Она содержит 1,54 млрд параметров, из которых 1,31 млрд не относятся к эмбеддингам, 28 слоёв и использует GQA с 12 головами для Q и 2 для KV. Заявлена поддержка контекста до 131 072 токенов. В README указан английский язык; модальность — текстовая. Квантование bnb-4bit снижает требования к памяти и облегчает локальный запуск, но может ограничивать точность по сравнению с полноразмерной версией. Сильными сторонами модели являются специализация на программировании, улучшенные возможности генерации, рассуждения и исправления кода, большой контекст и компактный размер. Ограничения включают небольшой объём модели по сравнению с более крупными системами, возможное снижение качества из-за 4-битного квантования и отсутствие в предоставленных данных подробных результатов бенчмарков, списка поддерживаемых языков программирования и оценки надёжности ответов. Модель распространяется по лицензии Apache-2.0; для работы рекомендуется использовать актуальную версию библиотеки transformers.

Qwen2.5-Coder-1.5B-Instruct-GGUF — это квантизированный формат GGUF модели Qwen2.5-Coder-1.5B-Instruct, разработанной Qwen и подготовленной пользователем bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации и анализа программного кода, чат-взаимодействия и других задач текстовой генерации, связанных с разработкой программного обеспечения. Указан английский язык, а исходная модель доступна через библиотеку Transformers. Модель содержит 1,5 млрд параметров и распространяется в нескольких вариантах точности, включая F16, Q8_0, Q6_K, Q5_K, Q4_K, Q3_K и IQ-квантизации. Размер файлов составляет примерно от 0,78 до 3,09 ГБ, поэтому доступны варианты для систем с разным объёмом оперативной памяти. В README не указаны архитектурные детали, размер контекста и дополнительные модальности; по описанию это текстовая модель без заявленной поддержки изображений или других типов входных данных. Основное преимущество набора — локальный запуск через llama.cpp и совместимость с LM Studio при существенно сниженном потреблении памяти. Варианты с более высокой точностью обеспечивают лучшее качество, а низкоразрядные квантизации экономят ресурсы, но могут заметно снижать качество генерации; устаревший формат Q4_0 не рекомендуется по сравнению с альтернативами сопоставимого размера. Для общения следует использовать указанный в README шаблон сообщений ChatML. Лицензия — Apache-2.0.

RedHatAI/Qwen2.5-Coder-32B-Instruct-FP8-dynamic — это вариант instruction-tuned языковой модели Qwen2.5-Coder-32B-Instruct, опубликованный Red Hat AI и представленный в формате FP8 dynamic quantization. Базовую модель разработала команда Qwen компании Alibaba Cloud. Это каузальная текстовая модель, ориентированная прежде всего на генерацию, понимание, исправление и рассуждение по программному коду, а также на использование в кодовых ассистентах и code-agent сценариях. Исходная модель содержит около 32,5 млрд параметров, построена на архитектуре Qwen2 с 64 слоями и Grouped-Query Attention: 40 голов для запросов и 8 для ключей и значений. Заявлена поддержка контекста до 131 072 токенов; базовая конфигурация рассчитана на 32 768 токенов, а для более длинных входов применяется YaRN. Модель работает с текстом на входе и выходе. Qwen2.5-Coder обучалась на корпусе свыше 5,5 трлн токенов и демонстрирует возможности работы более чем с 40 языками программирования, включая генерацию, завершение, рефакторинг и исправление кода. Вариант FP8 dynamic квантует веса и активации линейных операторов трансформера с 16 до 8 бит, что примерно вдвое снижает требования к памяти и размер файлов и может повысить пропускную способность матричных вычислений. Компромиссом является использование квантизированной версии вместо исходной точности; конкретные результаты потери качества для этого репозитория в найденной карточке не приведены. Для исходной Qwen2.5-Coder-32B-Instruct указана лицензия Apache 2.0, однако на странице точного репозитория RedHatAI отдельная лицензия и полноценная карточка модели не указаны.

apto-as/Qwen2.5-Coder-7B-Instruct-Q5_K_M-GGUF — это квантизированная версия Qwen2.5-Coder-7B-Instruct, преобразованная в формат GGUF с помощью llama.cpp и сервиса GGUF-my-repo. Модель разработана на базе Qwen/Qwen2.5-Coder-7B-Instruct и предназначена для генерации текста и работы с программным кодом в диалоговом режиме. Модель ориентирована на задачи, связанные с написанием и обработкой кода, а также на интерактивное использование через llama.cpp в CLI или серверном режиме. Указан размер базовой модели 7B; применяется квантизация Q5_K_M. Поддерживаемый язык в карточке — английский. Формат GGUF позволяет запускать модель через llama.cpp, в том числе локально, однако конкретные архитектурные параметры и размер контекстного окна в README не указаны; в примере сервера используется контекст длиной 2048 токенов. К сильным сторонам относятся специализация на программном коде, инструктивный режим и совместимость с llama.cpp. Ограничения включают отсутствие подробных сведений о качестве, поддерживаемых языках программирования, мультимодальности и фактических требованиях к оборудованию. Модель распространяется по лицензии Apache-2.0.

Youssofal/Qwen3.6-27B-Abliterated-Heretic-Uncensored-GGUF — GGUF-версия модифицированной модели Qwen3.6-27B, разработанной на базе Qwen/Qwen3.6-27B. Релиз создан Youssofal с применением Heretic-подобного двухэтапного MPOA-процесса, ослабляющего исходное поведение отказа на уровне весов. Модель предназначена для генерации текста и мультимодальных сценариев с анализом изображений и видео, а также для локального запуска через llama.cpp. Это плотная vision-language модель с 27,8 млрд параметров, 64 слоями и гибридной архитектурой внимания: три слоя линейного внимания на один слой полноформатного внимания в каждой группе из четырёх слоёв. Размер скрытого состояния — 5120. Архитектура сохраняет возможности базовой Qwen3.6-27B, включая поддержку изображений и видео; конкретный набор языков и размер контекстного окна в README не указаны. Доступны варианты GGUF от BF16 и Q8_0 до компактного Q2_K, что позволяет выбирать между качеством и требованиями к памяти. К сильным сторонам относятся сохранение общего профиля возможностей базовой модели, мультимодальность, совместимость с llama.cpp и сниженная склонность к стандартным отказам. По приведённым проверкам, однако, модель не демонстрирует полного устранения отказов и дефлекций, а изменение поведения может влиять на безопасность и надёжность ответов. Пользователь несёт ответственность за применение модели. Релиз распространяется по лицензии Apache-2.0, унаследованной от базовой модели.

lemonyins/Qwen3.6-27B-abliterated-i1-IQ4_XS-GGUF-Smaller — квантизированная версия Qwen3.6-27B, подготовленная разработчиком lemonyins на основе abliterated-варианта Huihui-Qwen3.6-27B от mradermacher. Модель предназначена для локального инференса, исследовательских задач и сценариев, где важны уменьшенный размер весов, экономия видеопамяти и большой контекст. Заявлена поддержка текстовых и, при подключении отдельного vision-проектора mmproj-BF16.gguf, визуально-текстовых входов. Модель использует формат GGUF и гибридную квантизацию: ключевые attention-слои имеют IQ4_XS, а слои FFN — IQ3_S. Для работы рекомендуется сборка llama.cpp с поддержкой TurboQuant и компактным KV-кэшем. На видеокарте NVIDIA RTX 4060 Ti 16GB заявлена скорость 18–20 токенов в секунду; при IQ4_XS-FFN-IQ3_S указана работа с контекстом до 160–200 тысяч токенов в зависимости от формата KV-кэша. При подключении vision-модуля доступный контекст уменьшается примерно на 10 тысяч токенов. Сильными сторонами являются низкое потребление памяти, увеличенный контекст при сохранении квантизации attention-слоёв и поддержка изображений через дополнительный модуль. Ограничения включают обязательную зависимость от TurboQuant для заявленных показателей памяти, возможное ухудшение качества из-за IQ3_S в FFN-слоях и отсутствие полной верификации разницы с базовой квантизацией; приведённый тест на китайском романе показал увеличение perplexity примерно на 3,14%. Языки модели и точные характеристики исходной архитектуры в README не указаны. Лицензия — Apache-2.0.

Qwen3.6-27B-Uncensored-HauhauCS-Aggressive — мультимодальная модель, разработанная HauhauCS на базе Qwen/Qwen3.6-27B от команды Qwen. Версия предназначена для пользователей, которым нужен прямой ответ без предварительных оговорок на провокационные или жёсткие запросы. По заявлению автора, изменения не затрагивают датасеты и исходные возможности модели, а направлены на устранение отказов; в указанном тесте модель получила 0 отказов из 465 запросов. Модель содержит 27 млрд плотных параметров и использует гибридную архитектуру: 48 слоёв линейного внимания Gated DeltaNet и 16 слоёв полного gated attention, всего 64 слоя. Поддерживаются текст, изображения и видео; для работы с визуальными данными поставляется отдельный mmproj-файл. Нативный контекст составляет 262 тысячи токенов и может быть расширен примерно до 1 млн с помощью YaRN. Заявлены языки English, Chinese и multilingual. Доступны GGUF-квантизации Q2–Q8, включая специализированные варианты K_P, совместимые с llama.cpp, LM Studio и другими GGUF-совместимыми средами. Сильная сторона Aggressive — отсутствие вступительных отказов и оговорок, что удобно для сценариев, где требуется максимально прямой стиль ответа. При этом автор рекомендует большинству пользователей вариант Balanced, поскольку он стабильнее для агентного программирования, использования инструментов, рассуждений и творческого письма. Агрессивная настройка может быть менее подходящей для задач, где важны осторожная подача и встроенные ограничения безопасности. Модель распространяется по лицензии Apache-2.0.

Это частная сборка Exolabs на основе Qwen3.6-35B-A3B, подготовленная для запуска в vLLM. Веса получены из файла Q4_K_M GGUF модели bartowski/Qwen_Qwen3.6-35B-A3B: их деквантизировали в FP32, преобразовали в раскладку HF/vLLM и сохранили в BF16. Конфигурация, токенизатор, шаблон чата и параметры генерации взяты из Qwen/Qwen3.6-35B-A3B. Модель предназначена для диалогов и обработки изображений; метаданные также отмечают интерфейс вызова инструментов. В README приведена проверка запуска на vLLM 0.23.0 с ограничением контекста 4096 токенов и режимом language-model-only. Указанная в метаданных архитектура — Qwen3.5 MoE, класс Qwen3_5MoeForConditionalGeneration; базовая модель содержит 35 млрд параметров. Репозиторий помечен лицензией «other», поэтому конкретные условия следует проверять в файлах лицензии модели. README описывает деквантизацию и преобразование представления весов, но BF16-выход из исходного Q4_K_M не возвращает потерянную при исходной квантизации точность; также приведённый запуск ограничивает длину контекста 4096 токенами.

Модель singulared/Qwen3.8-27B-ROCmFP4-MTP-GGUF представляет собой квантизированную сборку Qwen3.8-27B, опубликованную пользователем или организацией singulared на базе исходной модели Qwen/Qwen3.8-27B и GGUF-версии от ggml-org. Она предназначена для генерации текста и запуска через llama.cpp с поддержкой ROCmFPX, прежде всего на AMD-оборудовании с архитектурой RDNA 3.5, включая Radeon 8060S и платформы Strix Halo. Лицензия — Apache-2.0. В комплект входят несколько вариантов основной модели в формате GGUF с представлением ROCmFP4, а также отдельные MTP-драфтеры разных разрядностей для speculative decoding. Доступны пресеты STRIX, FAST и COHERENT; их размер составляет примерно 13,33–14,41 GiB, а размер драфтеров — около 1,48–2,86 GiB. Архитектура, число параметров 27B и исходные языковые характеристики унаследованы от Qwen3.8-27B, но подробные сведения о поддерживаемых языках, модальностях и максимальном контексте в карточке не указаны. Основное преимущество сборки — сниженное потребление памяти: для FP4 заявлено около 15,6 GiB резидентной памяти против 17,3 GiB у Q4_K_M при сопоставимом декодировании. MTP может ускорять генерацию, однако результат сильно зависит от предсказуемости задачи, глубины draft и версии ROCm; для типичных измерений указана скорость около 27–28 токенов в секунду, а в благоприятных условиях — до примерно 39 токенов в секунду. FP4 ориентирован прежде всего на уменьшение занимаемой памяти, а не на максимальную скорость. Требуется специальная сборка ROCmFPX, поскольку стандартный llama.cpp не поддерживает используемые типы тензоров. FP2-драфтер не рекомендуется из-за резкого падения принятия черновых токенов, а сочетание параметров -ctk q8_0 и -ctv turbo4 может повреждать результаты при длинном контексте.

Qwen3.8-27B-Uncensored-oQ4e-mtp — это квантизированная MLX-версия модели orcarouter/Qwen3.8-27B-Uncensored, подготовленная и упакованная пользователем pyros-vault с помощью oMLX 0.6.1 и квантизации oQ с использованием матрицы важности. Модель предназначена для развёртывания на Apple Silicon под macOS через runtime oMLX и совместима с OpenAI-совместимым сервером. Прямая проверка поведения и заявлений исходной модели в этой карточке не проводилась. Модель поддерживает текстовые и визуальные ресурсы, включая обработку изображений и видео, и содержит один слой MTP. Максимальный контекст, заявленный в конфигурации, составляет 262 144 токена, однако работа с таким объёмом не тестировалась и зависит от аппаратного обеспечения. Используется смешанная 4-битная квантизация Affine Q4/G64 с 166 переопределениями тензоров Q5/G64; размер тензорных данных — около 15,81 GiB в четырёх Safetensors-фрагментах. Калибровка выполнена на 128 последовательностях по 512 токенов с профилем oqe_code_multilingual. Сильными сторонами являются уменьшенный объём хранения по сравнению с вариантами более высокой разрядности, наличие мультимодальных ресурсов и возможность локального запуска на Apple Silicon. Ограничения включают зависимость от macOS, Apple Silicon и версии oMLX, отсутствие поддержки CUDA в данном формате, неопределённые требования к памяти, скорости, качеству Vision и эффективности MTP, а также возможное ухудшение качества из-за квантизации. Наличие MTP-файлов само по себе не включает speculative decoding. Исходная модель заявлена под лицензией Apache-2.0; следует также ознакомиться с условиями и атрибуцией upstream-репозитория.

Qwen3.8-27B-Uncensored-W4A16-AutoRound — квантизированная версия модели Qwen3.8-27B-Uncensored от orcarouter, созданная с использованием Intel AutoRound. Она основана на Qwen/Qwen3.8-27B и представляет собой abliterated-производную с существенно удалённым защитным выравниванием. Модель предназначена для исследовательских задач, включая интерпретируемость, исследования безопасности ИИ, red teaming, оценку моделей и интеграцию в собственные защищённые системы. Модель поддерживает работу с текстом и изображениями, языки English и Chinese, а также контекст до 262 144 токенов. Используется архитектура Qwen3.8 с сохранённой vision tower и MTP-головой для speculative decoding. Квантизация W4A16 выполнена методом AutoRound: основные линейные слои используют 4-битные веса и 16-битные активации, а vision tower, lm_head, embed_tokens и отдельные проекции GatedDeltaNet сохранены в bf16. Для запуска рекомендуется vLLM; заявлены показатели 0,9052 на GSM8K, 0,761 на MMLU-Pro и 0,880 на MMLU. Сильными сторонами являются большой контекст, поддержка изображений, сниженные требования к памяти по сравнению с полноразмерной моделью и сохранение значительной части исходных возможностей после квантизации. Ограничения включают возможное снижение качества из-за квантизации и abliteration, а также отсутствие эффективных встроенных защитных механизмов: модель может выполнять вредоносные, незаконные или неэтичные запросы. Её не следует предоставлять конечным пользователям без собственной системы безопасности. Лицензия — Apache-2.0; ответственность за использование и последствия вывода несёт пользователь.

Qwen3-Coder-30B-A3B-Instruct GGUF — квантизированная версия модели Qwen/Qwen3-Coder-30B-A3B-Instruct, подготовленная ByteShape с использованием ShapeLearn. Этот метод подбирает тип данных для отдельных тензоров, чтобы сохранить высокое качество при малой разрядности. Модель предназначена прежде всего для генерации и анализа программного кода, а также сценариев, связанных с вызовом функций; это отражено в используемых при оценке бенчмарках HumanEval, LiveCodeBench и BFCL-V3. Модель распространяется в формате GGUF и предназначена для локального запуска, в частности через llama.cpp и Ollama. Доступны варианты для CPU с преимущественно KQ-квантизацией и для GPU с гибридным подходом KQ/IQ. Размер файлов составляет примерно от 10,1 до 16,0 ГБ, а средняя разрядность — от 2,65 до 4,20 бит на вес, что позволяет выбирать баланс между скоростью, требованиями к памяти и качеством. README не содержит сведений о контекстном окне, поддерживаемых языках, точной архитектуре или мультимодальности. Сильными сторонами являются широкий выбор аппаратно-оптимизированных вариантов, низкие требования к памяти по сравнению с полной моделью и возможность локального использования. Ограничением выступает компромисс между степенью квантизации и качеством: более компактные варианты могут уступать более крупным по точности, а фактическая производительность зависит от оборудования и выбранного файла. Модель распространяется по лицензии Apache-2.0.

Manojb/Qwen-7B-toolcalling-ReSearch-gguf-Q8_0 — локальная языковая модель в формате GGUF, разработанная на базе agentrl/ReSearch-Qwen-7B и упакованная с квантизацией Q8_0 авторами Manojb и mradermacher. Модель основана на Qwen-7B и обучалась с использованием датасета RUC-NLPIR/FlashRAG_datasets. ReSearch — подход, в котором поиск интегрирован в цепочку рассуждений и выбор момента и способа поиска формируется с помощью текстового рассуждения, а результаты поиска влияют на дальнейшие выводы. Модель предназначена для генерации текста, ассистирования в программировании, локального использования и сценариев function calling и tool calling, включая взаимодействие с API-инструментами. Она ориентирована на английский язык и может запускаться через Ollama или другие совместимые средства работы с GGUF. Версия Q8_0 занимает около 8,2 ГБ и рассчитана примерно на 9–12 ГБ VRAM; заявлено отсутствие заметных потерь качества относительно исходной модели. Для этой базовой модели README рекомендует не применять chat completion. К сильным сторонам относятся высокая точность квантизации Q8_0, поддержка локального запуска и специализированная ориентация на вызов инструментов и поиск. Ограничения включают размер модели около 7B параметров, англоязычную заявленную специализацию, необходимость корректного режима работы без chat completion и потребность примерно в 9–12 ГБ VRAM. Модель распространяется по лицензии MIT.