I.14Автоматизация процессов и AI-агенты

Linkbricks-Horizon-AI-Avengers-V3-32B — языковая модель, дообученная директором по данным Linkbricks Джи Юнсоном (Saxo) на базе Saxo/Linkbricks-Horizon-AI-Avengers-V2-32B. Это плотная модель семейства Qwen2 на 32 млрд параметров с контекстом 32 768 токенов; для обучения части параметров применялись SFT и методы предпочтений, включая DPO и ORPO. Модель предназначена для диалогов, генерации текста и вызова инструментов. По карточке, обучение включало многоязычные новости и Википедию, переводческие и суммаризационные данные, вопросы и ответы, математику и логические задачи. Заявлены улучшения для работы с корейским, японским, китайским и английским языками, анализа отзывов и публикаций в соцсетях, написания текстов и кода, а также решения математических и логических задач. Репозиторий содержит веса Safetensors и использует библиотеку Transformers. Модель распространяется по лицензии Apache-2.0. Описание не приводит количественных результатов оценивания, поэтому заявленные улучшения не позволяют сравнить её качество с другими моделями.

mlx-community/Llama-3.2-3B-Instruct — конверсия модели Meta Llama 3.2 3B Instruct в формат MLX, выполненная сообществом mlx-community с помощью mlx-lm версии 0.18.2. Это плотная авторегрессионная языковая модель на 3,2 млрд параметров для диалогов и генерации текста; метаданные также указывают интерфейс вызова инструментов. Модель принимает текст и выдаёт текст, поддерживает контекст до 131 072 токенов и ориентирована на английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Модель подходит для диалоговых помощников, генерации и преобразования текста, а также сценариев с вызовом инструментов. В репозитории указаны веса Safetensors; README описывает конверсию в MLX и использование через mlx-lm. Лицензия — Llama 3.2 License. Качество и безопасность ответов могут зависеть от запроса и сценария применения; сведения о специализированной предметной области в карточке отсутствуют.

Llama_3.x_70b_Smarteaz_V1 — плотная авторегрессионная языковая модель семейства Llama с 69,5 млрд параметров, созданная Nexesenex с помощью слияния моделей MergeKit и метода Model Stock. В качестве основы использованы Smarteaz 0.1, Smarteaz 0.2 R1 и Smarteaz 0.2 NMT; в README также описаны модели, послужившие компонентами этих слияний, включая Llama 3.3 70B, Nemotron 3.1 70B, DeepSeek R1 Distill 70B и Tulu 3 70B. Модель предназначена для генерации текста и диалогового взаимодействия. Автор стремился получить сильные рассуждения и низкую perplexity, сохранив связность на длинном контексте; заявлены результаты 3,45 perplexity на WikiText English при контексте 512, более 62% на ARC-Challenge и более 82% на ARC-Easy. Метаданные указывают контекст до 131 072 токенов и интерфейс вызова инструментов. Модель рассчитана на общие текстовые сценарии; README упоминает снижение выраженности исходных инструкций, стиля и «личности» при слиянии, а также намерение сохранить минимум цензуры. Модель распространяется в формате safetensors через Transformers под лицензией Llama 3.3. Использование должно соответствовать условиям этой лицензии.

Llama-Chat-Summary-3.2-3B — языковая модель PrithivMLmods для контекстной суммаризации диалогов и текстов. Она дообучена на базе meta-llama/Llama-3.2-3B-Instruct и предназначена для создания кратких сводок с сохранением важных деталей из длинных чатов, обсуждений и документов. Модель имеет плотную архитектуру LlamaForCausalLM на 3,2 млрд параметров, принимает текст и генерирует текст. В карточке указана поддержка контекста до 131 072 токенов; модель рассчитана прежде всего на английский язык. Она может пригодиться для сводок обращений в поддержку, стенограмм встреч, статей и отчётов, а также для подготовки контекста для последующих систем. Карточка не приводит количественных оценок качества или подробностей обучения. Для работы с ней автор рекомендует Transformers; отмечено, что для развёртывания следует использовать выделенные эндпоинты, поскольку модель пока не подходит для serverless API. Лицензия — CreativeML Open RAIL-M.

mergekit-community/mergekit-model_stock-nvgaatl — объединённая модель для генерации текста, созданная сообществом с помощью mergekit и метода Model Stock. В качестве базы использована Qwen/Qwen2.5-14B-Instruct-1M; в слияние также вошли sthenno/tempesthenno-nuslerp-0124 и mergekit-community/mergekit-model_stock-injkqri. Модель имеет плотную архитектуру Qwen2, около 14 млрд параметров и предназначена для диалогов и генерации текста. Метаданные указывают на контекст до 1 010 000 токенов и интерфейс для вызова инструментов; модель работает через Transformers, веса представлены в safetensors. Её можно применять для чат-ответов и работы с длинным текстовым контекстом. Лицензия в предоставленных данных не указана. Качество и поведение после слияния зависят от входящих моделей; отдельные результаты оценки в карточке не приведены.

opendatalab разработала эту модель для оценки структурной чистоты текста в рамках метода Meta-rater. Это дообученная ModernBERT-base с 149 млн параметров, реализованная как ModernBertForSequenceClassification. Модель присваивает тексту непрерывную оценку от 0 до 5: чем выше балл, тем лучше форматирование, полнота и отсутствие шума. Модель подходит для фильтрации результатов веб-скрейпинга, очистки наборов данных, отбора текстов для предобучения языковых моделей и автоматической проверки качества документов. Она оценивает структурные свойства, например артефакты извлечения, обрывки предложений, повреждённые символы, избыток ссылок и рекламы; смысл, тематику, стиль и грамматическую сложность не оценивает. В README приведены показатели 87,88% F1 и 92,25% accuracy. Модель принимает текст и выдаёт оценку качества. В README заявлено контекстное окно 4096 токенов, а метаданные указывают нативный контекст до 8192 токенов. Она рассчитана преимущественно на английский текст; качество на технических форматах, коде и математической записи может меняться. Лицензия — MIT.

Mungert/MiniCPM5-1B-GGUF — это GGUF-версия компактной языковой модели MiniCPM5-1B, разработанной командой OpenBMB. Модель предназначена для локального запуска на устройствах с ограниченными ресурсами, включая сценарии on-device и edge AI. Формат GGUF рассчитан на использование с llama.cpp, Ollama и LM Studio; данный вариант создан с помощью llama.cpp. Модель является каузальной языковой моделью с архитектурой LlamaForCausalLM и 1 080 632 832 параметрами. Она содержит 24 слоя и использует групповое обобщённое внимание (GQA) с 16 головами для запросов и 2 головами для ключей и значений. Заявленная длина контекста составляет 131 072 токена. Поддерживаются английский и китайский языки, генерация текста, программирование, работа с инструментами, агентские сценарии и задачи, требующие рассуждений. К сильным сторонам относятся небольшой размер, возможность локального развертывания, длинный контекст и гибридный режим рассуждений: один и тот же чекпойнт может работать как быстрый ассистент или включать режим пошагового размышления через параметр enable_thinking. По данным разработчиков, преимущества особенно заметны в использовании инструментов, генерации кода и сложных задачах рассуждения. Ограничения модели связаны с её компактным размером и текстовой специализацией; README не содержит подробных сведений о качестве на всех языках, требованиях к аппаратным ресурсам и конкретных вариантах квантования GGUF. Модель распространяется по лицензии Apache-2.0.

mmBERT-32K-YaRN — многоязычная модель семейства ModernBERT, разработанная для Semantic Router и семейства Mixture-of-Models проекта vLLM. Она расширяет jhu-clsp/mmBERT-base с 8 192 до 32 768 токенов контекста с помощью масштабирования RoPE методом YaRN. Модель содержит около 307 млн параметров и использует архитектуру ModernBERT с Flash Attention 2; доступны веса Safetensors и экспорт ONNX. Модель предназначена для понимания длинных документов, классификации запросов для семантической маршрутизации, классификации документов, поиска информации и других многоязычных NLP-задач с длинным контекстом. В README заявлена поддержка более 1 800 языков; метаданные перечисляют английский, немецкий, французский, испанский, китайский, японский, русский, арабский, корейский и португальский. Обучение продолжения на CC-100 описано как работа с последовательностями длиной 32 768 токенов. Для длинных фрагментов точность извлечения снижается при расстоянии свыше 2 048 токенов. Обучающие данные собраны из веб-страниц и могут содержать связанные с ними смещения; для обработки полного контекста 32K README указывает потребность примерно в 180 ГБ GPU-памяти при batch size 1. Лицензия — MIT.

Карточка модели arnaultsta/MNLP_M2_document_encoder на Hugging Face совпадает с карточкой BAAI/bge-small-en-v1.5, поэтому описание составлено по ней. BAAI/bge-small-en-v1.5 — компактная модель эмбеддингов семейства BGE (BAAI General Embedding), разработанная BAAI. Она построена на архитектуре BERT и предназначена для преобразования английского текста в векторы, которые можно использовать для поиска и сравнения смысловой близости. Размер модели — около 40 млн параметров, максимальная длина входа — 512 токенов. Модель подходит для семантического поиска, извлечения релевантных документов и вычисления сходства предложений, в том числе как компонент RAG-систем. Версия v1.5 улучшает поиск без инструкций и смягчает проблему распределения оценок сходства. Доступны форматы PyTorch, Safetensors и ONNX. Лицензия — MIT. Модель рассчитана на английский язык; контексты длиннее 512 токенов не поддерживаются. Оценки сходства не следует трактовать как вероятности или применять фиксированный порог без калибровки.

Карточка модели nililba/MNLP_M3_document_encoder на Hugging Face совпадает с карточкой BAAI/bge-small-en-v1.5, поэтому описание составлено по ней. BAAI/bge-small-en-v1.5 — компактная модель эмбеддингов семейства BGE (BAAI General Embedding), разработанная BAAI. Она построена на архитектуре BERT и предназначена для преобразования английского текста в векторы, которые можно использовать для поиска и сравнения смысловой близости. Размер модели — около 40 млн параметров, максимальная длина входа — 512 токенов. Модель подходит для семантического поиска, извлечения релевантных документов и вычисления сходства предложений, в том числе как компонент RAG-систем. Версия v1.5 улучшает поиск без инструкций и смягчает проблему распределения оценок сходства. Доступны форматы PyTorch, Safetensors и ONNX. Лицензия — MIT. Модель рассчитана на английский язык; контексты длиннее 512 токенов не поддерживаются. Оценки сходства не следует трактовать как вероятности или применять фиксированный порог без калибровки.

schaitanya/modernbert-embed-base-transcript-documents-v1 — англоязычная модель Sentence Transformers, дообученная на парах запросов и релевантных документов, включая транскрипты. Она кодирует предложения и абзацы в нормализованные плотные векторы размерностью 768 для семантического поиска, сравнения текстов и извлечения релевантных документов; сходство оценивается косинусной мерой. В основе лежит ModernBERT с архитектурой среднего пулинга токенов и контекстом до 8192 токенов по метаданным; карточка модели указывает максимальную длину последовательности 1024 токена. Модель содержит 149 млн параметров и распространяется в формате safetensors. Модель подходит для поиска по транскриптам и документам, сопоставления коротких запросов с длинными текстами, поиска перефразировок, кластеризации и классификации текстов на основе эмбеддингов. В обучающей выборке — 6116 пар «запрос — положительный документ»; приведённые в карточке метрики поиска показывают cosine_accuracy@1 0,5191, @3 0,7441 и @5 0,8. Поддерживается английский язык. Лицензия — Apache-2.0.

Muse-Glimmer-30B-GGUF — набор GGUF-сборок модели Muse Glimmer 30B, разработанной Meta и опубликованной AtomicChat в формате, совместимом с llama.cpp. Модель предназначена для генерации текста, мультимодального анализа изображений, диалоговых сценариев, работы с инструментами, а также задач программирования, написания текстов и рассуждений. Указан pipeline image-text-to-text, однако точная архитектура, поддерживаемые языки и максимальный контекст модели в README не раскрыты. Доступны варианты квантования от Q8_0 и BF16 до IQ2_XXS объёмом примерно от 9,3 до 55,7 ГБ. Для работы с изображениями требуется отдельный vision-проектор mmproj размером около 3,9 ГБ, а для ускоренной генерации можно подключить drafter dflash, добавляющий около 5,5 ГБ к требованиям по памяти. Рекомендуемая сборка AD-IQ4_XS рассчитана примерно на 24 ГБ видеопамяти вместе с vision-проектором и обеспечивает компромисс между размером и качеством; на RTX 5090 заявлена скорость до 39,6 токена в секунду без drafter и до 71,8 с ним. Сильные стороны модели — мультимодальность, поддержка tool calling, несколько вариантов квантования и возможность запуска на одной потребительской видеокарте. Качество снижается по мере уменьшения разрядности, особенно на низких вариантах IQ; speculative decoding требует дополнительной памяти и снижает скорость обработки промпта. Для запуска нужен llama.cpp, собранный из актуальной ветки master с поддержкой Muse Glimmer, а также параметр --jinja для корректной работы шаблона чата и разбора вызовов инструментов. Лицензия — Apache 2.0.

mxbai-rerank-large-v2, также называемая ProRank-1.5B, — крупная модель-реранкер семейства mxbai от Mixedbread. Она предназначена для повторной оценки релевантности найденных документов или фрагментов относительно запроса и их сортировки, в том числе в конвейерах поиска и RAG. Модель основана на плотной архитектуре Qwen2ForCausalLM, содержит 1,5 млрд параметров и поддерживает контекст до 32 768 токенов; опубликованные веса представлены в формате safetensors. Разработчик заявляет поддержку более 100 языков, особо отмечая английский и китайский, а также поиск по коду и длинному контексту. В README приведены результаты на BEIR, мультиязычных и китайских тестах и поиске по коду; задержка в таблице измерена на A100. Лицензия — Apache-2.0. Модель ориентирована на ранжирование кандидатов, поэтому её основной результат — оценки релевантности, а не развернутые ответы пользователю.

Nanonets-OCR2-3B-GGUF — это квантизированная GGUF-версия мультимодальной модели Nanonets-OCR2-3B, разработанной nanonets. Квантизацию выполнил mradermacher. Модель предназначена для задач оптического распознавания символов, преобразования изображений в текст, конвертации PDF в Markdown и визуального ответа на вопросы (VQA). Модель поддерживает мультимодальный ввод: для работы используются файл модели GGUF и дополнительный multimodal supplement mmproj. Доступны варианты с разными уровнями квантизации — от Q2_K до Q8_0, а также f16; размеры файлов составляют примерно от 1,4 до 6,3 ГБ, без учета или с учетом дополнительного multimodal-компонента в зависимости от конфигурации. Заявлена поддержка многоязычных сценариев, однако конкретный перечень языков и размер контекстного окна в README не указаны. Основные преимущества — возможность локального запуска, широкий выбор компромиссов между размером, скоростью и качеством, а также наличие специализированных OCR- и image-to-text-сценариев. Более легкие варианты подходят для экономии ресурсов, тогда как Q6_K и Q8_0 ориентированы на более высокое качество; Q4_K_S и Q4_K_M отмечены как быстрые и рекомендуемые. Сведения о лицензии базовой модели и квантизированной версии в README отсутствуют, поэтому условия использования необходимо уточнять отдельно.

NimbusMind — причинно-языковая модель семейства NimbusT, представленная как обновлённый чат-ассистент. По данным карточки, обновление улучшает рассуждения и выводы за счёт дополнительных вычислений и алгоритмических изменений на этапе постобучения; авторы сообщают о результатах в математике, программировании и логике, а также о снижении частоты галлюцинаций и поддержке вызова функций. Модель предназначена для диалогов, решения сложных задач и генерации текста; в README также описаны сценарии работы с загруженными файлами и результатами веб-поиска. Репозиторий содержит веса PyTorch для Transformers и распространяется по лицензии Apache-2.0. В README приведён результат 89,1% на AIME 2026 и среднее расходование 27 тысяч токенов на вопрос этого набора; длина контекста и число параметров в доступных сведениях не приведены. Заявления о бенчмарках и качестве принадлежат авторам модели и не сопровождаются полным протоколом оценки в предоставленном README.

North-Mini-Code-1.0-GGUF — квантизированная версия языковой модели North-Mini-Code-1.0, разработанной CohereLabs и подготовленной пользователем bartowski в формате GGUF с использованием llama.cpp. Модель предназначена для генерации текста, диалогового взаимодействия, работы с программным кодом и сценариев с агентами. Поддерживает запуск через llama.cpp, LM Studio, KoboldCpp, Jan AI и другие совместимые инструменты. В репозитории представлены варианты от BF16 до различных уровней квантизации Q8_0, Q6_K, Q5_K, Q4_K и IQ3/IQ4. Размер файлов составляет примерно от 14,86 до 61 ГБ; варианты с более высокой разрядностью обычно обеспечивают лучшее качество, а компактные версии требуют меньше оперативной памяти. Точные сведения об архитектуре, количестве параметров, языках и размере контекстного окна в предоставленных данных не указаны. Сильными сторонами модели являются специализация на коде, поддержка чатового и агентного применения, а также широкий выбор квантизированных вариантов для разных аппаратных ограничений. Ограничения включают значительные требования к памяти даже у компактных сборок, возможное снижение качества при сильной квантизации и необходимость совместимого программного обеспечения. Модель распространяется по лицензии Apache-2.0.

NuMarkdown-8B-Thinking — мультимодальная vision-language модель для OCR и преобразования документов в структурированный Markdown. Модель разработана NuMind (Numind) на основе Qwen2.5-VL-7B, а данная версия представлена в формате GGUF. Она обучалась на синтетических примерах преобразования документов через рассуждение в Markdown с последующим обучением методом GRPO, использующим награду за корректное понимание компоновки. Модель предназначена для извлечения текста и структуры из изображений документов, включая документы со сложной компоновкой, таблицами, объединёнными ячейками, заголовками и списками. Она ориентирована на document-to-Markdown и сценарии подготовки данных для RAG. Перед формированием результата модель генерирует внутренние рассуждения для анализа макета; объём этих рассуждений может существенно зависеть от сложности задачи. Ключевые характеристики: около 8 миллиардов параметров, мультимодальный ввод с изображениями, поддержка OCR и понимания документов, базовая архитектура Qwen2.5-VL-7B, вывод в Markdown и распространение в формате GGUF для запуска средствами llama.cpp. Для GGUF-версий используется избирательное повышение точности отдельных слоёв при квантовании, что может улучшать качество при соответствующем увеличении размера файла. Языки, максимальный контекст и точные требования к аппаратному обеспечению в карточке не указаны. Сильными сторонами заявлены обработка нестандартных макетов и сложных таблиц, а также ориентация на структурированный результат для последующего поиска и генерации. К ограничениям относятся зависимость качества от сложности и качества изображения, дополнительные вычисления на рассуждения и отсутствие в карточке подробных сведений о языковом покрытии и количественных воспроизводимых тестах. Модель распространяется по лицензии MIT.

NVIDIA-Nemotron-3-Nano-30B-A3B-FP8 — квантизированная версия большой языковой модели NVIDIA Nemotron-Nano-3-30B-A3B, разработанная NVIDIA Corporation. Модель обучена с нуля и предназначена для генерации текста, решения задач с рассуждением и без него, а также создания специализированных AI-агентов. Она поддерживает английский, немецкий, испанский, французский, итальянский и японский языки. Модель использует гибридную архитектуру Mixture-of-Experts, включающую 23 слоя Mamba-2 и MoE, а также 6 Attention-слоёв. Всего модель содержит 30 млрд параметров, из которых 3,5 млрд активируются для каждого токена. В каждом MoE-слое используются 128 экспертов и один общий эксперт, при этом на токен активируются 6 экспертов. Модель может сначала формировать reasoning trace, а затем итоговый ответ; режим рассуждений настраивается через chat template. Отключение промежуточных рассуждений сокращает вывод, но может немного снизить точность на сложных задачах. Размер контекста в README не указан. К сильным сторонам относятся сочетание эффективности разреженной MoE-архитектуры с возможностями рассуждения, поддержка нескольких языков и готовность к коммерческому использованию. FP8-квантизация может снизить требования к ресурсам по сравнению с полноточной версией, однако конкретные требования к оборудованию не приведены. Показатели на опубликованных тестах у FP8-версии немного ниже, чем у базовой BF16-версии, например 87,7 против 89,1 на AIME25 без инструментов и 78,1 против 78,3 на MMLU-Pro. Использование модели регулируется NVIDIA Nemotron Open Model License.

OrionNet — текстовая генеративная модель от Stellar Labs, опубликованная как чекпойнт PyTorch для Transformers. В README она описана как ассистент для многошаговых рассуждений, математики, программирования, ответов на общие вопросы и вызова инструментов. В метаданных указаны архитектура GemmaForCausalLM и лицензия Apache-2.0; заявление README о переработанной MoE-архитектуре расходится с указанным в метаданных плотным типом архитектуры, поэтому устройство маршрутизации экспертов подтвердить нельзя. Карточка заявляет улучшения в длинном контексте, математических задачах и снижении галлюцинаций, но не приводит размер модели или численную длину контекста, а результаты представлены без описания методики оценки. Модель принимает текст и генерирует текст; README также упоминает интерфейс для вызова инструментов. Лицензия Apache-2.0.

CIRU DualView Ornith 1.0 35B — мультимодальная модель для диалогов, рассуждений, работы с инструментами, программирования и анализа изображений. Она основана на объединении Ornith-1.0-35B и Qwen3.6-35B-A3B; архитектура включает 256 экспертов, из которых активны 8. Модель поставляется в формате GGUF с квантованием FPX7 и отдельными участками Q8, а также с проектором изображений и дополнительным слоем MTP. Заявленная длина контекста — 262 144 токена. DualView использует компактное представление весов для генерации и точное представление INT8 для обработки входного контекста. Модель предназначена для локального запуска на системах AMD с унифицированной памятью и ROCm. Для загрузки требуется совместимая сборка ROCmFPX; стандартный llama.cpp не поддерживает этот формат. Проверки производительности проведены для Linux ROCm на Strix Halo, а совместный режим vision и MTP ещё проходит валидацию качества изображений и повторяемости. В метаданных указана лицензия other; конкретные условия следует сверить с карточкой модели и её лицензией.

Soulfate24/OvisOCR2-ASHQ1-Remix-GGUF — GGUF-квантованная версия модели OvisOCR2, созданная на основе ATH-MaaS/OvisOCR2. Она предназначена для извлечения текста и структуры документов со страниц изображений, включая таблицы и формулы, с выдачей результата в Markdown. Модель поддерживает диалоговый режим и обработку изображений; в метаданных для неё указан pipeline image-text-to-text. Репозиторий содержит GGUF-квантизацию с подходом ASHQ1-Remix, описанным автором как activation-aware. Модель распространяется по лицензии Apache-2.0. Данных о размере модели и длине контекста в предоставленных источниках нет.

pplx-embed-context-v1-4b — модель текстовых эмбеддингов Perplexity AI на основе плотной двунаправленной архитектуры PPLXQwen3. Она предназначена для контекстных эмбеддингов фрагментов документов в системах поиска и RAG, где при представлении фрагмента учитывается окружающий текст. Модель содержит 3,7 млрд параметров и поддерживает контекст до 32 768 токенов. Модель формирует векторы размерности 2560 с поддержкой сокращения размерности MRL. Эмбеддинги нативно выдаются без нормализации и квантизованы в INT8; README рекомендует сравнивать их по косинусному сходству. Для построения эмбеддингов не требуется добавлять инструкцию к тексту. Репозиторий содержит веса в форматах Safetensors и ONNX; лицензия — MIT.

Карточка модели JaehyeokLee/preliminary_one_source_gist_checkpoint_epoch_1_step_10 на Hugging Face совпадает с карточкой BAAI/bge-m3-unsupervised, поэтому описание составлено по ней. BAAI/bge-m3-unsupervised — мультиязычная модель эмбеддингов от BAAI на архитектуре XLM-RoBERTa с 658,7 млн параметров. Она обучена контрастивным методом на основе BAAI/bge-m3-retromae и предназначена для поиска по текстам и документам, включая сценарии RAG. Модель формирует плотные эмбеддинги, а также поддерживает разреженные представления с весами токенов и многовекторные представления в стиле ColBERT. Модель поддерживает более 100 языков и принимает последовательности длиной до 8192 токенов; размерность плотного эмбеддинга — 1024. Её можно применять для многоязычного, межъязыкового и длиннодокументного поиска, а также для вычисления сходства текстовых пар. Для гибридного поиска её разреженные и плотные представления можно сочетать с BM25, а после извлечения результатов использовать отдельную модель reranker. По данным карточки, BGE-M3 может уступать моделям, специально обученным для поиска на одном языке. Для работы с разреженными представлениями поддержка библиотек ограничена. Лицензия — MIT.

QRRanker — модель для переранжирования результатов поиска, разработанная на основе Qwen3-4B-Instruct-2507. Она оценивает релевантность фрагментов текста запросу с помощью выбранных attention-голов Query-focused Retrieval и выдаёт непрерывные оценки, учитывая весь список кандидатов целиком. Это позволяет ранжировать результаты без разметки в виде оценок по шкале Лайкерта. Модель предназначена для уточнения порядка найденных документов, особенно при поиске по длинным материалам, повествованиям и диалогам. Вариант QRRanker сохраняет первые 25 из 36 слоёв базовой модели; выбранные QR-головы находятся в слоях 17–24. Для длинного контекста можно использовать контекстные сводки как дополнительную информацию. Модель плотная, содержит 3,7 млрд параметров, поддерживает контекст до 262 144 токенов и принимает текст, выдавая оценки релевантности. В карточке указаны английский и китайский языки. Лицензия — Apache-2.0.

Qwen2.5-7B-Instruct-20241204-114939 — дообученная компанией или автором qfq диалоговая языковая модель на архитектуре Qwen2 плотного типа с 7,1 млрд параметров. Она предназначена для генерации текста и ответов в формате диалога; также поддерживает интерфейс вызова инструментов. В карточке указана оценка Loss 0,3328 на наборе для оценки, но сам набор данных и подробности обучения не описаны. Модель принимает текст и генерирует текст. Контекстное окно составляет 32 768 токенов. Модель опубликована в формате Safetensors и распространяется по лицензии Apache-2.0. README не приводит конкретных специализаций или ограничений, поэтому пригодность для узких задач и качество ответов следует оценивать отдельно.

QuantTrio/Qwen3.5-27B-AWQ — это квантизированная версия мультимодальной модели Qwen3.5-27B, разработанная на основе базовой модели Qwen/Qwen3.5-27B. Репозиторий содержит веса в формате Hugging Face Transformers и использует data-free квантизацию AWQ, для которой не требуется калибровочный набор данных. Модель предназначена для генерации текста и обработки изображений вместе с текстом, включая задачи рассуждения, программирования, визуального понимания и создания агентных приложений. Модель имеет архитектуру causal language model с vision encoder, около 27 млрд параметров, 64 слоя и гибридную структуру из Gated Delta Networks, sparse Mixture-of-Experts и Gated Attention. Нативная длина контекста составляет 262 144 токена и может быть расширена до 1 010 000 токенов. Заявлена поддержка 201 языка и диалекта. Для запуска рекомендуются vLLM и совместимые инструменты, однако README указывает на необходимость актуальных экспериментальных версий зависимостей, CUDA 12.8 и настройки с двумя GPU. Сильными сторонами являются мультимодальность, большой контекст, широкое языковое покрытие и оптимизация AWQ для более эффективного использования памяти. Ограничения включают существенные аппаратные требования, зависимость от экспериментальных версий программного обеспечения и необходимость включения remote code. Модель распространяется по лицензии Apache-2.0.

Qwen3.5-9B-DeepSeek-V4-Flash — модель, разработанная Jackrong на базе unsloth/Qwen3.5-9B с использованием дистилляции из DeepSeek-V4. Обучение проводилось на датасете Jackrong/DeepSeek-V4-Distill-8000x в среде Unsloth; в проекте также участвовал инженер Kyle Hessling, предоставивший вычислительную инфраструктуру и занимавшийся тестированием. Модель предназначена для эффективного рассуждения, многошагового решения задач, программирования и агентских сценариев с генерацией действий для инструментов. Ключевая характеристика модели — размер около 9 миллиардов параметров, обеспечивающий более быстрый и менее ресурсоёмкий инференс по сравнению с крупными моделями. README указывает поддержку английского, китайского, корейского, японского, испанского и русского языков, а также заявляет возможности structured reasoning, long chain-of-thought и tool-augmented workflows. При этом точный размер контекста, сведения о полноценной мультимодальности и подробные характеристики архитектуры самой дистиллированной модели не приведены; упомянутые million-token context, DeepSeek Sparse Attention и другие архитектурные особенности относятся к модели-учителю DeepSeek-V4. Модель позиционируется как компактная и эффективная альтернатива для задач рассуждения и локального инференса, однако README описывает раннюю сравнительную оценку, выполненную в формате Q5_K_M, поэтому заявленные преимущества не следует считать универсально подтверждёнными. Лицензия — Apache-2.0.

FreedomAISVR/Qwen3.6-35B-A3B-MXFP4-MOE-NoMTP-GGUF — квантизированная сборка базовой модели Qwen3.6-35B-A3B от команды Alibaba Qwen. Это модель Mixture-of-Experts с 35 млрд параметров и примерно 3 млрд активных параметров на токен; сборка в формате GGUF удаляет головы Multi-Token Prediction и использует MXFP4 для экспертных весов и Q8_0 для остальных тензоров. Размер файла — около 19,8 ГБ. Модель предназначена для генерации текста и диалогов, включая сценарии с длинным контекстом, использованием инструментов и многоязычными запросами. В README заявлены контекст до 131 тыс. токенов и поддержка более 100 языков; метаданные перечисляют 19 языков, в том числе русский, английский и китайский. В проверенной конфигурации с llama.cpp указаны RTX 5060 Ti с 16 ГБ VRAM и флаг --cpu-moe, который размещает экспертные веса в системной памяти. Квантизация снижает требования к видеопамяти, сохраняя более высокую точность для постоянно используемых неэкспертных тензоров. Для работы нужны llama.cpp с поддержкой CUDA и совместимое оборудование; производительность зависит от аппаратной конфигурации. Базовая модель распространяется по лицензии Apache 2.0; отдельная лицензия производной сборки в предоставленных данных не указана.

nvidia/Qwen3-8B-NVFP4 — квантизированная версия авторегрессионной языковой модели Qwen3-8B, разработанной Alibaba и подготовленной с использованием NVIDIA TensorRT Model Optimizer. Модель предназначена для генерации текста и может применяться в AI-агентах, чат-ботах, RAG-системах и других приложениях на базе искусственного интеллекта. Модель построена на архитектуре Transformers и содержит около 8,2 млрд параметров. Она работает с текстовыми входами и генерирует текстовые последовательности, поддерживает контекст длиной до 131K токенов. Веса и активации линейных операторов внутри transformer-блоков квантизированы в формат FP4, что ориентировано на эффективный инференс. Поддерживается TensorRT-LLM; модель оптимизирована для систем с GPU NVIDIA, включая микроархитектуру Blackwell, и предпочтительно используется в Linux. Сильной стороной модели является готовая предварительная квантизация для развертывания и потенциально более эффективный инференс на совместимом оборудовании по сравнению с CPU-сценариями. Ограничения включают зависимость от экосистемы NVIDIA и TensorRT-LLM, а также отсутствие в README подробных сведений о языках, результатах оценки качества и характеристиках исходного обучения. Для калибровки использовался датасет cnn_dailymail; наборы данных обучения и тестирования не раскрыты. Модель распространяется по лицензии Apache 2.0 и заявлена как пригодная для коммерческого и некоммерческого использования.

RadixArk Qwen3.8-Flash-Next-NVFP4 — кандидатный релиз RadixArk, представляющий квантованную версию мультимодальной модели Qwen3.8-Flash-Next. Это гибридная архитектура Transformer с Mixture-of-Experts, объединяющая GDN и разреженное QSA-внимание, multi-hyperconnection streams и PLE n-gram injection. Модель содержит около 180 млрд параметров, 48 декодерных слоёв, до 512 маршрутизируемых экспертов на MoE-слой с маршрутизацией top-10, общий эксперт и один MTP-слой. Модель принимает текст, изображения и видео, а выдаёт текст; заявленная длина контекста — до 262 тысяч токенов. Она предназначена для оценки инференса Qwen3.8-Flash-Next в задачах агентных систем, диалогов, программирования и мультимодального рассуждения. Квантование выполнено с помощью NVIDIA Model Optimizer по схеме NVFP4 W4A4 преимущественно для маршрутизируемых экспертов; размер контрольной точки уменьшен примерно с 360 до 135 ГБ. Для запуска указана интеграция с SGLang и поддержка GPU NVIDIA Blackwell, включая GB300 и B300, в Linux. По приведённым оценкам, квантование сохраняет качество в однопроходных задачах GSM8K и AIME, однако длительные агентные генерации могут выполняться дольше, чем в BF16-версии. Модель может порождать неточные, неполные, избыточные или токсичные ответы и воспроизводить предвзятость обучающих данных. Лицензия обозначена как other; условия использования необходимо смотреть у исходной модели Qwen3.8-Flash-Next.