II.10Разработка и эксплуатация AI/ML-систем

MyAwesomeModel — модель из репозитория dfdfhhj7/MyAwesomeModel-TestRepo, доступная через библиотеку Transformers и распространяемая по лицензии MIT. В метаданных Hugging Face она классифицирована как модель для извлечения признаков; среди тегов также указаны PyTorch и BERT, поэтому её можно использовать для получения векторных представлений текста и последующей обработки в задачах машинного обучения.

naflexvit_so400m_patch16_siglip.v2_webli — веса визуального энкодера NaFlexViT для библиотеки timm, основанные на архитектуре SigLIP-2 SO400M/16. Модель предназначена для извлечения признаков изображений и может использоваться как визуальный энкодер в системах поиска по изображениям, сопоставления изображений и текста или последующей классификации. Репозиторий содержит веса PyTorch в формате Safetensors и распространяется по лицензии Apache-2.0. Карточка не сообщает о дополнительных обучающих данных, численных характеристиках размера или ограничениях применения.

Nemotron-4-340B-Instruct-hf — преобразованный чекпойнт диалоговой языковой модели Nemotron-4-340B-Instruct от NVIDIA, опубликованный пользователем mgoin. Модель предназначена для генерации текста в формате диалога; README указывает, что чекпойнт создан из версии 1.0 формата .nemo. Метаданные описывают архитектуру как плотную авторегрессионную модель NemotronForCausalLM с общим числом 466,8 млрд параметров и контекстом 4096 токенов. Модель принимает текст и выдаёт текст, поддерживает чат-сценарии и может развёртываться через vLLM версии 0.5.4 или новее. В README приведены оценки для чекпойнта FP8, полученные с lm-eval 0.4.3 на восьми A100, однако сами результаты в доступном тексте не представлены. Метаданные указывают лицензию other; конкретные условия следует сверять с лицензией базовой модели NVIDIA.

Norns-Qwen2.5-Coder-7B-Instruct-v0.1 — языковая модель на архитектуре Qwen2, созданная автором win10 слиянием моделей методом TIES через mergekit. В качестве основы использована Qwen/Qwen2.5-Coder-7B-Instruct, также в слияние вошла win10/Urdandi-Qwen2.5-7B. Модель предназначена для генерации кода и диалогового взаимодействия с инструкциями по программированию. Она содержит 7,1 млрд параметров, принимает текст и выдаёт текст; нативная длина контекста составляет 32 768 токенов. Репозиторий содержит веса в формате safetensors и рассчитан на работу с библиотекой Transformers. Лицензия в предоставленных данных не указана. Карточка не сообщает о специальных ограничениях или результатах оценки качества; производительность может отличаться от базовых моделей из-за слияния.

North-Mini-Code-1.0-UD-Q4_K_XL-layers — пакет GGUF-слоёв модели семейства North, подготовленный Mesh LLM для распределённого запуска на локальном кластере. Он производен от unsloth/North-Mini-Code-1.0-GGUF и сохраняет исходную модель UD-Q4_K_XL в виде отдельных артефактов по слоям. Пакет предназначен для локального и приватного чат-инференса, в том числе на нескольких машинах, когда полная модель не помещается на одном узле. Через Mesh LLM модель можно подключить к локальному API с интерфейсом OpenAI Chat Completions. В метаданных указаны GGUF, поддержка генерации текста и чат-возможности; подробности об архитектуре, размере, контексте, языках и лицензии следует сверять с карточкой исходной модели.

OpenCodeReasoning-Nemotron-14B-GGUF — это набор GGUF-квантизированных версий модели OpenCodeReasoning-Nemotron-14B, разработанной NVIDIA и подготовленной квантизатором bartowski с использованием llama.cpp и imatrix. Модель предназначена для генерации текста и решения задач, связанных с программированием и рассуждениями по коду; в метаданных указаны английский язык и обучающий датасет NVIDIA OpenCodeReasoning. Модель имеет размер 14 миллиардов параметров и поставляется в форматах от BF16 до различных вариантов 8-, 6-, 5-, 4- и 3-битного квантования. Размер файлов варьируется примерно от 7,34 до 29,55 ГБ. В README не указаны точная архитектура и размер контекстного окна. Модели можно запускать через LM Studio, llama.cpp и другие совместимые проекты; для взаимодействия предусмотрен специальный chat-шаблон с ролями system, user и assistant. Сильной стороной набора является широкий выбор квантизаций, позволяющий выбирать баланс между качеством, скоростью и требованиями к памяти; варианты Q6_K_L, Q6_K, Q5 и Q4 отмечены как рекомендуемые, а Q4_K_M описан как подходящий вариант стандартного размера. Более компактные варианты экономят память, но могут заметно уступать по качеству. Условия использования определяются лицензией Apache-2.0.

OpenBuddy/openbuddy-yi1.5-34b-v21.3-32k — многоязычная чат-модель OpenBuddy, дообученная на базе 01-ai/Yi-1.5-34B-32K. Это плотная авторегрессионная модель семейства Llama с 33,9 млрд параметров, предназначенная для диалоговой генерации текста. Метаданные указывают нативный контекст до 131 072 токенов и поддержку китайского, английского, французского, немецкого, японского, корейского, итальянского, русского и финского языков. Модель рассчитана на создание чат-ботов и развёртывание через Transformers или vLLM с API в стиле OpenAI. Репозиторий содержит веса safetensors; для корректной работы автор рекомендует быстрый токенизатор Transformers, поскольку другие реализации могут некорректно обрабатывать специальные токены. Лицензия — Apache 2.0. Модель может выдавать ошибочные, вредные или нежелательные ответы. Авторы предостерегают от использования в критически важных и высокорисковых сценариях, включая медицину, управление потенциально опасными системами и принятие важных финансовых или юридических решений.

OpenCodeInterpreter-SC2-7B — модель для генерации кода из семейства OpenCodeInterpreter, разработанная командой M-A-P на основе StarCoder2-7B. Она сочетает генерацию кода с выполнением и итеративным улучшением по обратной связи от исполнения. Модель имеет плотную архитектуру StarCoder2ForCausalLM, около 9,9 млрд параметров и контекст до 16 384 токенов; формат весов в репозитории — safetensors. Модель предназначена для написания и доработки кода, а также сценариев, где результат можно проверить исполнением и уточнить по полученной обратной связи. В README приведены сравнительные результаты семейства на HumanEval и MBPP, но отдельные показатели именно этой версии не указаны. Метаданные отмечают английский язык и специализацию на коде. Лицензия — Apache-2.0.

opencsg-starcoder-v0.1 — языковая модель для генерации и дополнения кода, созданная исследовательской командой OpenCSG. Это полнопараметрическая донастройка StarCoder с 15,5 млрд параметров, обученной на данных более чем с 80 языков программирования из The Stack v1.2; для версии opencsg-starcoder-v0.1 указан контекст 8192 токена и архитектура GPTBigCode. Модель предназначена для генерации кода по текстовым запросам и продолжения фрагментов программ. В README приведён результат HumanEval для Python: Pass@1 42,68% при жадном декодировании и оценке только по исходным условиям задач. Этот результат не гарантирует аналогичного качества на других языках и практических задачах разработки. Модель распространяется по лицензии BigCode OpenRAIL-M.

Многоязычная модель OpenSearch для разреженного поиска по текстам. Она построена на архитектуре BERT и содержит 194,6 млн параметров; репозиторий опубликован в формате safetensors. Модель обучена выдавать разреженные векторы размерности 105 879: при кодировании документов веса отражают важность токенов, а запросы можно представить разреженными векторами с помощью токенизатора и таблицы весов. Релевантность оценивается скалярным произведением векторов. Модель предназначена для поиска документов и пассажей, расширения документов и семантического поиска с разреженным индексом OpenSearch на основе инвертированного индекса Lucene. В карточке приведены результаты на MIRACL для 15 языков, включая русский; для сокращения размера представления рекомендуется прореживание max_ratio. Контекст модели — до 512 токенов. В бенчмарке исключён тайский язык, поскольку uncased-основа не может его кодировать. Модель выпущена участниками проекта OpenSearch по лицензии Apache-2.0. Её применение особенно связано с поисковой инфраструктурой OpenSearch; показатели бенчмарка относятся к MIRACL и сами по себе не гарантируют качество на других наборах данных и сценариях.

gaudi/opus-mt-fr-en-ctranslate2 — конвертированная для CTranslate2 версия модели перевода Opus-MT с французского на английский, основанной на работе Helsinki-NLP. Она предназначена для машинного перевода текстов и ускоренного инференса на CPU и GPU через CTranslate2 и библиотеку hf-hub-ctranslate2. Модель использует архитектуру Marian encoder-decoder. CTranslate2 поддерживает оптимизации инференса, включая квантование весов и объединение слоёв; в карточке для CPU указан тип вычислений int8, для CUDA — int8_float16. Приведённые в README внутренние замеры сообщают об ускорении инференса в 6–10 раз относительно исходных чекпойнтов через Transformers, но также отмечают возможное снижение качества перевода примерно на 5%; эти результаты зависят от конфигурации. Репозиторий распространяется по лицензии Apache-2.0. Это конверсия существующей модели, а не самостоятельное дообучение.

s-batman/Ornith-1.0-9B-NVFP4-MTP-GGUF — набор из трёх GGUF-квантизаций модели Ornith-1.0-9B, разработанной командой DeepReinforce. Исходная модель создана на базе Qwen3.5-9B и дообучена с помощью reinforcement learning для агентного программирования и задач, требующих рассуждений. Эта версия дополнительно оснащена головами Multi-Token Prediction (MTP), заимствованными из Qwen3.5-9B-MTP, для ускорения speculative decoding в llama.cpp. Модель имеет плотную архитектуру Qwen3.5: 32 основных слоя и один встроенный MTP-слой, 9,2 млрд параметров, hidden size 4096 и словарь из 248 320 токенов. Используется гибридная схема внимания с линейным SSM и полным attention в каждом четвёртом слое. В репозитории доступны варианты Q8_0 размером 9,1 ГБ, NVFP4 и MXFP4 размером по 5,1 ГБ. NVFP4 оптимизирован для NVIDIA Blackwell, включая RTX PRO 6000 и DGX Spark, тогда как Q8_0 рассчитан на широкий спектр CPU и GPU. Визуальная башня отсутствует, поэтому практическое применение этой сборки ограничено текстовым выводом, несмотря на сохранённый мультимодальный словарь. Сильные стороны модели — специализация на агентном кодировании и рассуждениях, уменьшенный размер по сравнению с полноразмерной BF16-моделью и возможность ускоренного декодирования с MTP. NVFP4 обеспечивает наиболее эффективный путь на Blackwell, MXFP4 использует стандарт OCP, а Q8_0 служит вариантом с максимальной точностью. Ограничениями являются зависимость преимуществ NVFP4 от оборудования Blackwell, необходимость совместимой поддержки llama.cpp и отсутствие визуального ввода в данной GGUF-сборке. Модель распространяется по лицензии MIT.

AnkitAI/Parable-Qwen3-8B-Claude-Fable-5-GGUF — локальная текстовая модель, дообученная на базе Qwen3-8B разработчиком AnkitAI. Она создана для генерации текста, программирования, терминальных задач, рассуждений, планирования и использования инструментов в агентских сценариях. Обучение выполнено методом QLoRA на трассировках реальных сессий Claude Fable 5 и решениях терминальных задач, а не на синтетических вопросах и ответах. Заявлен английский язык. Модель имеет 8 млрд параметров и распространяется в формате GGUF для llama.cpp, Ollama и LM Studio. Доступны квантизации Q4_K_M, Q5_K_M, Q6_K и Q8_0; рекомендуемая Q4_K_M занимает около 4,8 ГБ и рассчитана примерно на 6 ГБ RAM или VRAM. Базовый контекст Qwen3 в 128K токенов сохраняется, хотя дообучение выполнялось на последовательностях длиной 1 024 токена, поэтому специализированное поведение наиболее выражено в начале длинных сессий. Ответы открываются блоком рассуждений <think>, который рекомендуется удалять перед показом пользователю. Сильные стороны модели — агентское планирование, tool use, программирование, отладка и работа с терминалом. В заявленной проверке 23 из 34 задач были полностью решены корректно, а 30 — полностью или частично. Ограничения включают слабые результаты на генерации конфигураций и состояниях shell; команды, код и конфигурационные файлы необходимо проверять. Модель распространяется по лицензии Apache-2.0.

unsloth/Phi-4-reasoning-GGUF — GGUF-версия модели Phi-4-reasoning, разработанной Microsoft Research и подготовленной для распространения Unsloth. Это открытая модель с весами, дообученная на базе Phi-4 с использованием supervised fine-tuning на наборах трасс рассуждений и reinforcement learning. Обучающие данные были ориентированы на математику, естественные науки, программирование, безопасность и Responsible AI. Модель представляет собой плотный decoder-only Transformer с 14 млрд параметров и поддерживает текстовые входы, предпочтительно в формате чата. Длина контекста составляет 32k токенов, заявленный язык — английский. Модель генерирует ответы, включающие блок рассуждений и последующее резюме, поэтому подходит для задач, требующих пошагового анализа, решения математических и научных задач, а также написания и анализа кода. К сильным сторонам относятся специализация на reasoning-задачах и сочетание сравнительно компактного размера с возможностями Phi-4. Ограничения включают поддержку только текстовой модальности, ориентацию на английский язык и необходимость корректного шаблона запуска: для включения рассуждений в llama.cpp требуется параметр --jinja. README не содержит полной информации о характеристиках конкретного квантования GGUF, включая его вариант и требования к памяти. Модель распространяется по лицензии MIT.

Phind-CodeLlama-34B-v2-Codefuse-CodeLlama-34B-dare-ties — объединённая языковая модель на архитектуре Llama, созданная с помощью LazyMergekit из Phind/Phind-CodeLlama-34B-v2 и codefuse-ai/CodeFuse-CodeLlama-34B. Модель содержит 33,5 млрд параметров, использует формат safetensors и рассчитана на контекст до 16 384 токенов. Модель предназначена для генерации кода и решения задач программирования по текстовым запросам. Она принимает текст и выдаёт текст, включая код; в каталоге для неё подтверждена задача text-generation. README описывает объединение методом dare_ties с параметрами density 0,5, весами 0,6 и 0,4 и типом bfloat16. В карточке не указаны лицензия и конкретные ограничения качества или применения, поэтому условия лицензирования и специальные ограничения по этим источникам определить нельзя.

perplexity-ai/pplx-pii-masking-GGUF — GGUF-упаковка модели Perplexity AI для обнаружения и маскирования персональных данных в разговорном тексте. В основе — двунаправленный энкодер Qwen3 примерно на 600 млн параметров с backbone perplexity-ai/pplx-embed-v1-0.6b. Модель включает классификатор токенов с 37 BIOES-метками для девяти категорий данных, включая имена, номера счетов, адреса, электронную почту, телефоны и секреты, а также отдельную голову для оценки чувствительности диалога. Модель предназначена для поиска чувствительных фрагментов и их маскирования при обработке разговорных данных. Для запуска используется llama.cpp: backbone поставляется в формате GGUF F16, а классификационные головы — в FP32 Safetensors; клиент применяет их к состояниям токенов и декодирует найденные фрагменты. Лицензия — MIT. Вход должен содержать от 1 до 4096 токенов; более длинные документы нужно разбивать на части. Из-за двунаправленного внимания весь вход обрабатывается одним микропакетом, для поддерживаемого окна требуется размер пакета 4096. Точность конвертации и backend могут влиять на результаты; возможны ложные срабатывания и пропуски персональных данных, поэтому качество и пороги чувствительности следует проверять на целевых данных.

Sheltron Privacy Filter Ettin 32M — компактная модель Sheltron для обнаружения фрагментов текста, содержащих приватные данные и секреты. Это классификатор токенов на базе ModernBERT, дообученный на jhu-clsp/ettin-encoder-32m; модель содержит около 31,9 млн параметров и поддерживает контекст до 7999 токенов по метаданным. README указывает, что обучение и оценка проводились на последовательностях длиной 512 токенов, поэтому более длинный текст рекомендуется обрабатывать перекрывающимися окнами по 512 токенов с шагом 128. Модель размечает восемь категорий: номера счетов, адреса, даты, электронную почту, имена людей, телефонные номера, URL и секреты. Она предназначена для быстрого скрининга электронной почты, сообщений, переписок и команд, а её выход совместим по формату с OpenAI Privacy Filter. Доступны контрольная точка Safetensors FP32 и варианты ONNX, включая FP16; для ONNX нужен ONNX Runtime. Лицензия — Apache-2.0. Для воспроизведения метрик и корректного декодирования README предписывает применять ограниченный алгоритм Viterbi с калибровкой из viterbi_calibration.json, а не выбирать метки для каждого токена независимо. Базовая модель — англоязычный энкодер; в метаданных указан английский язык.

Qodo-Embed-1-7B — модель эмбеддингов кода, разработанная Qodo для поиска по программному коду. Она дообучена на базе Alibaba-NLP/gte-Qwen2-7B-instruct и использует архитектуру Qwen2 с 7,1 млрд параметров. Модель преобразует текстовые запросы и фрагменты кода в векторы размерностью 3584 для поиска естественным языком по коду и поиска похожего кода. Модель предназначена для поиска кода, извлечения контекста для RAG и семантического сопоставления кода. README заявляет поддержку Python, C++, C#, Go, Java, JavaScript, PHP, Ruby и TypeScript. Метаданные указывают контекст до 131 072 токенов; README сообщает максимальный размер входа 32 тыс. токенов. Для работы через Transformers указаны зависимости transformers и flash_attn. Репозиторий содержит веса safetensors и имеет лицензию other, поэтому условия использования следует сверять с карточкой модели.

cnmoro/Qwen0.5b-RagSemanticChunker — это дообученная модель Qwen2.5-0.5B-Instruct, предназначенная для семантического разбиения длинного текста на фрагменты для сценариев RAG. В примере README текст на португальском языке разделён специальным маркером «段», который отмечает границы смысловых фрагментов. Модель построена на архитектуре Qwen2 с плотной причинно-языковой архитектурой Qwen2ForCausalLM и содержит 494 млн параметров. Она принимает и генерирует текст, поддерживает английский и португальский языки и имеет контекст длиной до 32 768 токенов. Метаданные также указывают поддержку диалогового режима и интерфейса вызова инструментов. Модель подходит для подготовки текстовых корпусов к поиску и ответам по документам с использованием RAG. README не сообщает результаты оценок качества или подробные инструкции по формату входа. Модель распространяется по лицензии MIT.

Модель RL-Forgetting-Experiments-3/qwen2.5-3b-code-sft-replay-uniform-lam1-step102 — готовый к инференсу чекпойнт для генерации кода, созданный в ходе экспериментов RL-Forgetting-Experiments-3. Это дообучение Qwen/Qwen2.5-3B методом supervised fine-tuning; модель имеет плотную архитектуру Qwen2, около 3,1 млрд параметров и принимает текст, выдавая текст. Чекпойнт обучен на данных qwen3b_code_sft_data_s300 с упорядоченной последовательностью примеров и равномерным воспроизведением данных (uniform replay, lambda 1.0). Он предназначен для генерации кода и связанных диалоговых сценариев; контекстное окно составляет 32 768 токенов. Карточка не сообщает о специальной лицензии, поэтому условия использования следует сверять с лицензией базовой модели и репозитория.

Etherll/Qwen2.5-CodeFIM-1.5B-v2 — дообученная модель семейства Qwen2 для генерации кода в режиме Fill-in-the-Middle (FIM): она дополняет пропущенный фрагмент, учитывая код до и после него. Модель содержит 1,5 млрд параметров, построена на архитектуре Qwen2ForCausalLM и принимает текстовый контекст длиной до 32 768 токенов. Модель предназначена для автодополнения и редактирования кода, в том числе в редакторе Continue. Для запроса используется шаблон с именем файла, префиксом и суффиксом кода. В карточке указан датасет Etherll/code-fim-v2. Лицензия в предоставленных данных не указана.

3MPER0RR/Qwen2.5-Coder-14B-Instruct-3MPER0RR-abliterated — доработанная 3MPER0RR версия инструкционной модели Qwen2.5-Coder-14B-Instruct, основанная на архитектуре Qwen2 и содержащая 14 млрд параметров. Модель предназначена для генерации кода в диалоговом формате; базовая модель также рассчитана на анализ и исправление кода. Модель принимает текст и выдаёт текст. Контекст составляет 32 768 токенов. В репозитории указаны веса в формате safetensors, лицензия — Apache 2.0. Карточка сообщает, что модель была протестирована и сохранена после 200 проб, но не описывает изменения, критерии тестирования или конкретные преимущества версии abliterated.

RootMonsteR/Qwen3-14B-Abliterated-GGUF — это квантизированная GGUF-версия модели RootMonsteR/Qwen3-14B-Abliterated, созданной на основе Qwen/Qwen3-14B. Модель разработана RootMonsteR с применением метода directional ablation из Heretic v1.3.0: заявленная цель — сохранить способности к рассуждению, программированию и tool-calling, одновременно существенно сократив количество автоматических отказов. По данным карточки, доля отказов снижена примерно с 99 до 10 из 100 тестов при KL-дивергенции 0,0333. Модель предназначена для локального текстового диалога, автономных агентов, вызова инструментов и функций, авторизованных исследований безопасности, защитных инструментов, CTF, обучения и изучения поведения моделей без отказов. Доступны варианты Q5_K_M размером около 10,5 ГБ и Q4_K_M размером около 9 ГБ; Q5_K_M рекомендуется для агентов и более надёжного формирования JSON, а Q4_K_M — при ограниченном объёме памяти. Поддерживаются llama.cpp, Ollama, LM Studio, Jan и KoboldCpp; заявлен контекст до 32 768 токенов. Указаны режимы рассуждения и без рассуждения, а также встроенный шаблон чата Qwen3. Сильными сторонами являются низкая стоимость локального запуска, сохранение исходных возможностей Qwen3-14B после квантизации, поддержка reasoning и tool-calling, а также сниженное количество рефлексивных отказов. Ограничения включают возможное ухудшение точности формата вызовов инструментов у Q4_K_M при агрессивных настройках генерации, более низкую скорость работы на CPU и необходимость использовать семплирование вместо жадного декодирования. Модель распространяется по лицензии Apache-2.0. Снижение отказов повышает требования к контролю применения: использование должно соответствовать законодательству, договорным обязательствам и согласованному объёму работ.

dnotitia/Qwen3-1.7B — версия Qwen3, подготовленная Dnotitia для более удобного обучения. Веса совпадают с официальной моделью Qwen3, а шаблон чата вынесен в отдельный файл и дополнен тегами TRL для режима assistant_only_loss. Это плотная причинная языковая модель с 1,7 млрд параметров на архитектуре Qwen3ForCausalLM, рассчитанная на генерацию текста и диалог. Модель подходит для прототипирования диалоговых помощников, генерации и продолжения текста, а также экспериментов с дообучением. Семейство Qwen3 поддерживает переключение между режимами рассуждения и обычного ответа, работу с инструментами и более чем 100 языками; эти возможности описаны для семейства в целом. Метаданные указывают контекст до 40 960 токенов, тогда как README приводит 32 768 токенов. Репозиторий использует Transformers и формат safetensors. Лицензия — Apache-2.0. README предупреждает о возможных бесконечных повторах и рекомендует при их появлении настроить параметры генерации, в частности presence_penalty=1.5.

Qwen3-1.7B-Base — плотная авторегрессионная языковая модель семейства Qwen3, представленная командой Qwen и опубликованная в репозитории Unsloth как производная от Qwen/Qwen3-1.7B-Base. Это базовая модель на стадии предобучения, рассчитанная на генерацию текста и создание специализированных языковых решений. Модель содержит 1,7 млрд параметров, 28 слоёв и поддерживает контекст до 32 768 токенов. Предобучение семейства Qwen3 охватывает 119 языков и включает материалы по программированию, STEM, логике и общим знаниям. Модель работает с текстом и использует архитектуру Qwen3ForCausalLM; для работы рекомендуется актуальная версия библиотеки Transformers, поскольку версии ниже 4.51.0 не распознают архитектуру Qwen3. Репозиторий содержит веса в формате Safetensors. Модель подходит как основа для продолжения обучения, адаптации и генерации текста. Это базовый чекпойнт, а не готовый диалоговый ассистент, поэтому качество следования инструкциям и диалоговые возможности зависят от последующей настройки. Лицензия Apache-2.0.

AMD Qwen3-235B-A22B-Instruct-2507-MXFP4 — текстовая instruction-tuned модель на архитектуре Qwen3MoeForCausalLM, созданная Advanced Micro Devices на базе Qwen/Qwen3-235B-A22B-Instruct-2507. Модель принимает текст и генерирует текст; в карточке указана поддержка английского языка. Обозначение модели относится к классу 235B с разреженной MoE-архитектурой и примерно 22B активных параметров, однако подробные архитектурные характеристики в README не приведены. Модель предназначена для задач генерации и понимания текста, включая диалоговые и инструкционные сценарии, а также развёртывание инференса на ускорителях AMD MI300 и MI350/MI355 под Linux. Она оптимизирована для SGLang и vLLM, использует AMD-Quark 0.11 и статическую квантизацию весов в OCP MXFP4 с динамической квантизацией активаций. В конфигурации оценки применялось максимальное окно 32768 токенов; это значение отражает проверенный сценарий запуска. На GSM8K модель получила 0,897 против 0,909 у исходной модели, что соответствует восстановлению 98,64% исходной точности. Квантизация снижает требования к памяти и ориентирована на эффективный инференс, но может немного ухудшать точность по сравнению с оригиналом. Для работы требуются совместимые AMD-ускорители, ROCm 7.0, PyTorch 2.8.0 и Transformers 4.57.0; поддержка других аппаратных платформ и языков в README не заявлена. Базовая лицензия — Apache-2.0; модификации AMD защищены авторским правом Advanced Micro Devices, Inc.

QuantTrio Qwen3.5-27B-Claude-4.6-Opus-Reasoning-Distilled-v2-AWQ — это AWQ-квантизированная версия модели Qwen3.5-27B-Claude-4.6-Opus-Reasoning-Distilled-v2, разработанной на базе Qwen3.5-27B. Исходную дообученную модель создал Jackrong, а репозиторий квантизации поддерживается QuantTrio. Квантизация выполнена методом data-free, без калибровочного датасета, что позволяет уменьшить размер модели примерно до 21 GiB и снизить требования к памяти при инференсе. Модель ориентирована на задачи рассуждения, математику, текстовые задачи, логическую дедукцию, инструкции и программирование. По заявленным результатам, она сохраняет показатель 96,91% pass@1 на HumanEval, сокращает длину цепочки рассуждений примерно на 24% и обеспечивает на 31,6% больше корректных решений на токен по сравнению с базовой моделью. Для запуска рекомендуется vLLM с поддержкой AWQ, tool calls и reasoning parser; в README приведена конфигурация с контекстом до 32768 токенов и тензорным параллелизмом на двух GPU. Сильными сторонами являются экономичное рассуждение, высокая эффективность на задачах программирования и возможность использования в оптимизированном режиме инференса. Ограничения включают снижение результатов на HumanEval+ на 1,24% и на MMLU-Pro на 7,2%, а также возможное ухудшение качества на задачах, требующих длинного контекста или сложного многошагового рассуждения. Языки и точный набор поддерживаемых модальностей в README не указаны; pipeline обозначен как image-text-to-text, но подробностей о мультимодальных возможностях нет. Модель распространяется по лицензии Apache-2.0.

Qwen3.5-9B-Unredacted-MAX — дообученная мультимодальная модель семейства Qwen от prithivMLmods, основанная на Qwen/Qwen3.5-9B. Она предназначена для диалогов и обработки изображений с текстом, а также для локального и облачного инференса, прототипирования, исследований следования инструкциям и тестирования устойчивости. Модель содержит 9 млрд параметров, использует плотную архитектуру Qwen3.5 и распространяется в формате safetensors для Transformers; заявлена совместимость с современными конвейерами Transformers. В карточке сообщается о модификации отказов и приводятся самоотчётные показатели поведения на 2000 тестовых запросах; это не независимый бенчмарк. Возможны неверные или непоследовательные ответы, особенно в сложных сценариях, а результаты зависят от промпта и настроек генерации. Для оптимальной производительности рекомендуется ускорение на GPU. Лицензия — Apache-2.0.

Frozenlock/Qwen3.8-27B-int4-AutoRound — это мультимодальная квантованная версия базовой модели Qwen/Qwen3.8-27B, подготовленная пользователем или организацией Frozenlock. Модель распространяется по лицензии Apache-2.0 и предназначена для запуска и обслуживания через vLLM, включая сценарии генерации текста, работы с изображениями и инструментами. Модель использует квантование INT4 по схеме W4A16 с размером группы 128 и симметричным представлением, выполненное с помощью AutoRound 0.14.2 и упаковки auto_gptq. Квантованы основные языковые блоки и слои MTP, тогда как 96 тензоров GDN-линейного внимания in_proj_a и in_proj_b, а также vision tower и эмбеддинги сохранены в bf16. Размер весов составляет около 18 ГБ. Поддерживаются мультимодальные входные данные, вызов инструментов и спекулятивное декодирование MTP; заявленный нативный контекст — 262 144 токена, а базовая модель поддерживает расширение YaRN до 1 миллиона токенов. Ключевое преимущество сборки — совместимость квантованной MTP-головы со спекулятивным декодированием в vLLM, что в измерениях README почти удваивало скорость декодирования, хотя коэффициент принятия черновых токенов зависит от типа текста и составлял примерно 41–67%. Компактные веса также позволяют оставить больше памяти под KV-кэш, однако для эффективной работы требуются совместимые версии vLLM и Marlin W4A16, а мультимодальность, поддерживаемые языки и точные показатели качества отдельно не описаны. Производительность зависит от GPU, настроек KV-кэша, длины контекста и режима tensor parallelism.

Qwen3.8-27B-NVFP4-RTX5090 — оптимизированная для видеокарт GeForce RTX 5090 версия модели Qwen/Qwen3.8-27B. Сборка опубликована в gittensor-model-hub и квантизована с помощью NVIDIA Model Optimizer в формате NVFP4. Модель предназначена для развёртывания через SparkInfer, SGLang и vLLM на архитектуре NVIDIA Blackwell; Hopper может загрузить файлы, но не поддерживает выполнение NVFP4. Модель поддерживает работу с текстом, изображениями и видео через OpenAI-совместимый API. Она рассчитана на контекст до 262 144 токенов и помещается на одной RTX 5090 с 32 ГБ памяти; размер чекпойнта составляет около 17,92 ГБ в двух шардах. В сборке квантизирован также lm_head, а неиспользуемая MTP head удалена. Для ускорения генерации может использоваться спекулятивное декодирование с drafter DSpark v2. Сильные стороны модели — большой контекст, мультимодальный ввод, низкие требования к памяти и высокая скорость инференса на RTX 5090, особенно в связке SparkInfer и DSpark v2. Ограничения включают зависимость от Blackwell для полноценного выполнения NVFP4, необходимость специализированных движков и отдельные ограничения текущего API SparkInfer: видео поддерживается фактически, но не всегда корректно отражается в поле input_modalities. Модель распространяется по лицензии Apache-2.0.