I.3Извлечение и структурирование данных

nithinbharathi/fine_tuned — англоязычная модель Sentence Transformer, созданная дообучением thenlper/gte-small. Она преобразует предложения и абзацы в плотные эмбеддинги размерности 384 для сравнения текстов по косинусному сходству, семантического поиска, поиска перефразировок, кластеризации и классификации текста. Архитектура основана на BERT: среднее объединение токеновых представлений с последующей нормализацией; максимальная длина входа — 512 токенов. Модель ориентирована на английский язык и выпущена под лицензией Apache-2.0. Карточка указывает на обучающую выборку из двух пар текстов и приводит метрики на информационном поиске, поэтому качество на широком круге запросов и доменов может быть ограничено. Несмотря на название карточки «BGE base Financial Matryoshka», README описывает дообучение GTE-small и не подтверждает специализацию на финансовых данных.

Gemma 3 27B IT GGUF — квантизированная версия инструкционной модели Gemma 3 27B IT, разработанной Google. Модель подготовлена сообществом LM Studio, а GGUF-квантизацию выполнил bartowski на основе llama.cpp. Она предназначена для локального запуска и генерации текста, включая ответы на вопросы, суммаризацию и задачи рассуждения. Модель поддерживает мультимодальный ввод с изображениями, нормализованными до разрешения 896 × 896, а также текстовые сценарии. Заявленная длина контекста составляет до 128 000 токенов, максимальная длина вывода — 8 192 токена. В README не указаны полный перечень поддерживаемых языков, конкретный метод и уровень квантизации, а также требования к аппаратным ресурсам. К сильным сторонам относятся большой контекст, поддержка понимания изображений и пригодность для локального использования через формат GGUF. Ограничения связаны с зависимостью от совместимого llama.cpp runtime версии 1.19.0 или новее, причём актуальная версия runtime на момент публикации обозначена как beta. Как квантизированная сборка, модель может отличаться по качеству и потреблению ресурсов от оригинальной версии. Доступ и использование регулируются лицензией Gemma от Google.

VIDraft/Gemma-3-R1984-12B — мультимодальная модель на архитектуре Gemma 3, дообученная на базе google/gemma-3-12b-pt. Карточка описывает локальную платформу для диалогов, анализа изображений и документов, а также исследовательских запросов с веб-поиском через SERPHouse API. Заявлена обработка изображений, видео и текстовых документов; поиск может включать до 20 результатов с цитированием источников. В карточке указаны около 12 млрд параметров и контекст до 8 000 токенов. Метаданные подтверждают задачу image-text-to-text, поддержку vision и chat, библиотеку Transformers и лицензию Gemma. Для веб-поиска требуется ключ SERPHouse; README рекомендует развёртывание на NVIDIA L40S, но не приводит независимых оценок качества или подробностей обучения. Условия лицензии следует сверять с лицензией Gemma, указанной в метаданных: упоминание MIT для платформы в README не подтверждает лицензию весов модели.

Granite Vision 3.3 2B Embedding — мультимодальная модель эмбеддингов IBM, дообученная на базе ibm-granite/granite-vision-3.3-2b для поиска по визуальным и текстовым данным в документах. Она предназначена для извлечения релевантных страниц в RAG-системах, в том числе по таблицам, графикам, инфографике и сложной вёрстке. Модель принимает изображения PNG и JPEG и инструкции на английском языке, формируя 729 векторов размерности 128 на изображение. Поиск использует многовекторное представление ColBERT и позднее взаимодействие MaxSim; отдельное OCR-извлечение текста не требуется. Модель подходит для корпоративного поиска по отчётам, презентациям, руководствам, изображениям и другим документам, как самостоятельно, так и в сочетании с текстовым поисковиком. В README приведены результаты сравнений на наборах ViDoRe V2 и REAL-MM-RAG, но они не гарантируют качество на конкретных данных. Модель выпущена IBM 11 июня 2025 года и распространяется по лицензии Apache 2.0. Среди ограничений указаны возможные неточности и смещения; входные инструкции поддерживаются на английском языке.

Indic-Transcribe-flex — мультиязычная модель распознавания речи, разработанная Spark UX и основанная на NVIDIA Canary-1B-v2. Она использует энкодер FastConformer и Transformer-декодер и дообучена для транскрибации 27 индийских языков, включая варианты английского с индийским акцентом и диалекты хинди. Для входа принимает аудио; базовые требования — моно, 16 кГц, поддерживаются WAV, FLAC и MP3. Модель предназначена для преобразования речи в текст, в том числе в шумной обстановке и при смешении языков в одной речи. Доступны вывод в родной письменности, смешанный режим с латиницей для английских слов и чисел и полностью романизированный текст. Также модель умеет определять язык и транскрибировать аудио без заранее заданного языка. Вариант flex поддерживает нормализацию чисел и кода-свитчинг; потоковая транскрибация, согласно карточке, относится к варианту lite. Заявленные сценарии включают голосовые продукты для образования, сельского хозяйства и здравоохранения, а также транскрибацию звонков и индексирование речи. В карточке приведены результаты бенчмарка Voice of India, но они не гарантируют такую же точность на других данных. Лицензия в метаданных обозначена как other; README заявляет готовность модели к коммерческому использованию, поэтому перед развертыванием следует проверить условия лицензии репозитория.

jina-embeddings-v5-omni-nano-clustering — мультимодальная модель эмбеддингов от Jina AI, вариант семейства jina-embeddings-v5-omni-nano, настроенный для кластеризации. Она принимает текст, изображения, видео и аудио и преобразует их в векторы общего пространства, совместимого с текстовой моделью jinaai/jina-embeddings-v5-text-nano-clustering. Размер модели — около 0,95 млрд параметров, размерность эмбеддинга — 768. Для текстовых документов требуется префикс «Document: ». Видео представляется кадрами; звуковая дорожка видео автоматически не обрабатывается, её нужно передавать отдельно. Модель подходит для мультимодальной кластеризации и построения индексов, где документы на текстовом языке можно искать по запросам в виде изображений, видео или аудио без повторной индексации. Также эмбеддинги можно использовать для поиска и сопоставления мультимодальных данных. Модель доступна в формате safetensors и предназначена для запуска через Transformers, sentence-transformers или vLLM. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но не коммерческое применение.

K2-Horizon-MoVA-36B-A4B-GGUF — квантованная версия модели IFM/K2-Horizon-MoVA-36B-A4B, опубликованная abenzerps в формате GGUF для запуска через llama.cpp. Модель предназначена для генерации текста и поддерживает сценарии диалогов и вызова инструментов; доступен формат tool calling с вариантами xml, json и xml_typed. Это разреженная Mixture-of-Experts-модель с архитектурой Mixture-of-Values attention (MoVA): всего 36 млрд параметров, из которых примерно 4 млрд активируются для каждого токена. Исходная модель поддерживает контекст до 524 288 токенов (512K), а заявленный язык — английский. Модель текстовая и не требует vision projector. Доступны варианты квантования Q3_K_M, Q4_K_M, Q4_0, Q5_K_M, Q6_K и Q8_0 размером примерно от 17,66 до 39,83 ГБ. Ключевое преимущество модели — сочетание большого контекстного окна, разреженной MoE-архитектуры и нескольких вариантов квантования для выбора компромисса между качеством и требованиями к памяти. Для запуска требуется сборка llama.cpp с поддержкой архитектуры K2 Horizon, включая форк MBZUAI-IFM до появления поддержки в основной ветке. Лицензия исходной модели — Apache-2.0; фактическая производительность зависит от выбранной квантовки и доступной памяти.

Карточка модели Yukang/Llama-2-13b-longlora-32k-ft на Hugging Face совпадает с карточкой Yukang/Llama-2-7b-longlora-32k-ft, поэтому описание составлено по ней. Yukang/Llama-2-7b-longlora-32k-ft — дообученная полная версия LLaMA 2 на 7 млрд параметров, созданная авторами проекта LongLoRA для работы с длинным контекстом. Модель предназначена для генерации текста и обработки запросов, в которых важно учитывать большой объём предшествующего текста, например длинные документы. Контекст этой версии расширен до 32 768 токенов. В README описан подход LongLoRA: для эффективного расширения контекста при дообучении используется разреженное локальное внимание, при этом во время инференса сохраняется плотное глобальное внимание. Метаданные указывают нативную длину контекста 4 096 токенов, поэтому заявленное в README расширение до 32 768 токенов следует отличать от этого значения. Модель использует архитектуру LlamaForCausalLM и распространяется в формате PyTorch. Модель подходит для суммаризации и вопросов по длинным текстам, но README не приводит отдельные оценки качества именно этого чекпойнта. Условия лицензии в предоставленных данных не указаны.

Llama-3.1-Tulu-3-70B-SFT — англоязычная инструкция-следующая модель, разработанная AllenAI на основе Meta Llama 3.1 70B. Это плотная авторегрессионная Transformer-модель примерно на 69,5 млрд параметров, дообученная методом supervised fine-tuning на смеси открытых, синтетических и созданных людьми данных. Репозиторий содержит веса в формате safetensors; модель поддерживает контекст до 131 072 токенов и диалоговый шаблон для использования в чат-приложениях. Модель предназначена для диалога и выполнения инструкций, а также для широкого круга задач, включая математические рассуждения и следование заданным форматам. Карточка приводит оценки на MATH, GSM8K и IFEval; опубликованные бенчмарки дают ориентир, но не гарантируют качество в конкретном применении. Разработчики отмечают, что модель в первую очередь рассчитана на английский язык. У модели ограничено обучение безопасности, поэтому она может выдавать проблемный контент, особенно при соответствующих запросах; фильтрация ответов не встроена. Использование регулируется лицензией Llama 3.1 Community License Agreement.

Masker Mini (v3) — модель Divergent Labs для обнаружения и разметки персональных данных в тексте. Это компактный шестислойный токен-классификатор на архитектуре BERT с 35,4 млн параметров по README; метаданные указывают 38,7 млн параметров. Модель принимает текст и размечает 12 типов сущностей, включая имена, адреса, телефоны, электронную почту, даты, номера карт и государственные идентификаторы, чтобы передать их на следующий этап обезличивания. Модель предназначена для локального офлайн-обнаружения PII на устройствах и в приложениях, где важно не отправлять исходный текст в облако. Для развёртывания доступны PyTorch fp16, ONNX fp16 и 4-битный ONNX, а также 4-битная Core ML-версия. Поддерживаются 23 европейских языка; контекст — до 512 токенов. В README описана дистилляция из Masker v2 с инициализацией весами первых шести слоёв Multilingual-MiniLM. По заявленным оценкам, 4-битные варианты почти совпадают с fp32 по разметке токенов. Ограничения включают более низкое качество распознавания имён по сравнению с полноразмерной Masker и остаточную ошибочную разметку компаний и других именованных сущностей как персон в нидерландских текстах. README рекомендует проверять качество на собственных данных и учитывать возможную утечку. Лицензия — Apache-2.0.

EasierAI/Mistral-NeMo-12B — набор GGUF-квантизованных версий Mistral-Nemo-Instruct-2407, опубликованный с указанием quantized_by: bartowski и предназначенный для запуска через llama.cpp и LM Studio. Модель относится к классу генеративных текстовых моделей и поддерживает формат диалоговых запросов с шаблоном <s>[INST]{prompt}[/INST]. Модель предназначена для генерации текста и выполнения инструкций в локальных сценариях, включая чат и другие задачи обработки текста. В README заявлена поддержка английского, французского, немецкого, испанского, итальянского, португальского, русского, китайского и японского языков. Архитектура, точное число параметров и размер контекста в предоставленных данных не указаны; идентификатор 12B присутствует только в названии репозитория. Доступны варианты от F16 до низкобитных форматов Q8_0, Q6_K, Q5_K, Q4_K, Q3_K и IQ3/IQ4, что позволяет выбирать между качеством генерации и требованиями к оперативной памяти. Квантизация выполнена с использованием imatrix и llama.cpp; некоторые варианты оптимизированы для ARM и требуют соответствующей аппаратной поддержки. Более сильное сжатие уменьшает потребление памяти, но может снижать качество. Лицензия — Apache-2.0.

gabrielloiseau/ModernBERT-base-authorship-verification — модель Sentence Transformers, дообученная на основе answerdotai/ModernBERT-base. Она кодирует предложения и абзацы в плотные векторы размерностью 768 и предназначена для сравнения текстов по смыслу с помощью косинусного сходства. Модель подходит для семантического поиска, поиска перефразирований, кластеризации и классификации текстов, а также для проверки сходства авторского стиля. Она содержит 149 млн параметров, использует архитектуру ModernBERT и обрабатывает последовательности длиной до 8192 токенов. В метаданных указан английский язык базовой модели; отдельные сведения о языках обучения этой версии не приведены. Репозиторий содержит веса в формате safetensors; лицензия в предоставленных данных не указана.

MoziAI-35B-A3B-MOE-MTP — локально развёртываемая мультимодальная модель команды Chen Yumo, дообученная на основе Ornith-1.5-35B-A3B. Это MoE-модель семейства Qwen3.5 с 35 млрд параметров; в репозитории представлены варианты GGUF BF16 и Q4_K_M, а для работы с изображениями README рекомендует отдельно подключать vision-проектор. Модель предназначена для диалогов, финансового анализа, чтения отчётности, программирования, письма и задач с использованием инструментов. Карточка заявляет поддержку 201 языка и диалектов с особой оптимизацией китайского; метаданные каталога отмечают английский и китайский. README также описывает структурированное рассуждение и цикл самопроверки для сложных запросов. Репозиторий использует llama.cpp и распространяется по лицензии Apache-2.0. В README заявлены компактный вариант MoziSmartBit объёмом 15,9 ГБ и ускорение спекулятивного декодирования, однако метаданные указывают форматы GGUF BF16 и Q4_K_M, поэтому эти заявления о размере и точности не следует автоматически относить к каждому файлу репозитория. Результаты финансовых и инвестиционных ответов требуют независимой проверки; подробные бенчмарки в предоставленном фрагменте карточки отсутствуют.

spl4shedEdu/mpnet_IAB — модель Sentence Transformers, дообученная разработчиком spl4shedEdu на базе sentence-transformers/all-mpnet-base-v2. MPNet с 136,7 млн параметров кодирует предложения и абзацы в плотные векторы размерности 768; представления нормализуются, а для сравнения можно использовать косинусное сходство. Максимальная длина последовательности в README — 384 токена; метаданные указывают нативный контекст 514 токенов. Модель предназначена для семантического поиска и сравнения текстов, поиска перефразировок, кластеризации и классификации текстов. В обучающих данных приведены пары «запрос — положительный пример» из товарных описаний и категорий, поэтому модель подходит для задач сопоставления товарных и каталожных текстов. README также сообщает об отдельном наборе оценки. Модель принимает текст и выдаёт эмбеддинги; в карточке не заявлена поддержка конкретных естественных языков. Лицензия в предоставленных данных не указана.

MrBERT — многоязычная модель-энкодер от BSC-LT на архитектуре ModernBERT, предварительно обученная с нуля на корпусе объёмом 6,1 трлн токенов. Она использует двунаправленный masked language modeling и предназначена для получения контекстных представлений текста на 35 европейских языках и кода. Модель содержит около 307 млн параметров, использует токенизатор SentencePiece с словарём на 256 тысяч токенов и поддерживает контекст до 8192 токенов. MrBERT подходит как основа для последующей настройки на поиск и извлечение информации, классификацию, семантический поиск и кросс-языковые задачи понимания текста. В карточке приведены оценки на XTREME и других многоязычных тестах, включая XNLI, PAWS-X и UDPOS; результаты различаются по задачам и языкам. Для получения эмбеддингов или прикладного предсказания потребуется соответствующая downstream-настройка. Модель распространяется под лицензией Apache-2.0. Хотя в обучающем корпусе присутствуют код и 35 языков, основная доля данных — английская (67,4%); результаты и качество могут быть неодинаковыми для разных языков и задач.

legacy107/multi-qa-mpnet-base-dot-v1-wikipedia-search — модель Sentence-Transformers на базе MPNet, разработанная для преобразования предложений и абзацев в плотные векторы размерности 768. Она предназначена для семантического поиска и кластеризации текстов; в поисковой системе её можно использовать для представления запросов и документов в общем векторном пространстве. Модель содержит 136,7 млн параметров и принимает текстовые последовательности длиной до 514 токенов. Модель обучалась с TripletLoss на евклидовом расстоянии. В карточке не указана лицензия, поэтому условия распространения и использования по имеющимся данным определить нельзя. Заявленные задачи — семантический поиск и кластеризация; качество зависит от соответствия текстов и поискового корпуса обучающим данным.

NbAiLab разработала эту модель на основе предварительно обученного норвежского NB-BERT Base и дообучила её для задачи MultiNLI на машинно переведённой на норвежский язык версии набора данных. Модель использует архитектуру BERT для классификации последовательностей и позволяет присваивать текстам категории, заданные пользователем, без отдельного обучения на этих категориях: названия классов преобразуются в гипотезы, например «Этот текст о спорте». Для лучших результатов рекомендуется формулировать шаблон гипотезы по-норвежски. Модель предназначена для классификации норвежских текстов по произвольному набору тем или других категорий. Она принимает текст и выдаёт оценки соответствия заданным классам. Контекст ограничен 512 токенами; доступны веса в форматах PyTorch, Flax и Safetensors. Лицензия — CC BY 4.0. Качество зависит от формулировок гипотез и названий классов; обучение на машинно переведённом MNLI может влиять на результаты.

Xenova/paraphrase-multilingual-mpnet-base-v2 — это версия модели sentence-transformers/paraphrase-multilingual-mpnet-base-v2 с весами в формате ONNX, подготовленная для совместимости с библиотекой Transformers.js. Репозиторий поддерживается сообществом Xenova и предназначен для запуска модели в JavaScript-средах, включая веб-приложения, через pipeline Transformers.js. Модель используется для извлечения признаковых представлений текста (feature extraction), поэтому подходит для задач семантического сравнения, поиска похожих текстов, кластеризации и других сценариев, где нужны текстовые embeddings. В README приведён пример обработки англоязычной фразы, однако языки, размер, архитектура, максимальная длина контекста и точные характеристики исходной модели не указаны. Известно, что ONNX-веса размещены в отдельном репозитории для web-ready использования; сведения о сильных сторонах, ограничениях и лицензии в README отсутствуют.

Phi-4-mini-instruct-GGUF — GGUF-квантизированная версия инструкционной модели Phi-4-mini-instruct, разработанной Microsoft. Квантизацию выполнил bartowski на базе llama.cpp версии b4792; модель распространяется в рамках программы Community Models для LM Studio. Модель предназначена для широкого круга коммерческих и исследовательских задач генерации текста, включая диалоговое взаимодействие, следование инструкциям и вызов функций. Она поддерживает контекст длиной до 128 тысяч токенов, заявлена как многоязычная и обладает улучшенными возможностями instruction following и function calling. README не содержит сведений о точном размере модели, конкретной архитектуре, перечне поддерживаемых языков и типе квантизации. Для использования в LM Studio на указанную дату требуется Beta runtime. Лицензия в предоставленных данных не указана; модель может генерировать неточный, вредный или нежелательный контент.

thang1943/phobert-base-v2-mnr-loss — Sentence Transformers на основе PhoBERT-base-v2, дообученная автором на наборе dataset_full_fixed из 43 803 примеров с MultipleNegativesRankingLoss. Модель кодирует предложения и абзацы во векторы размерности 768 и предназначена для поиска семантически близких текстов, оценки сходства и извлечения релевантных фрагментов. Также её можно применять для поиска перефразирований, кластеризации и классификации текста. Архитектура — RoBERTa-энкодер с усреднением токенных представлений; сходство в README рассчитывается косинусной мерой. Максимальная длина последовательности указана как 256 токенов в README и 258 контекстных токенов в метаданных. Базовая PhoBERT ориентирована на вьетнамский язык, а обучающие примеры README также написаны по-вьетнамски. Веса представлены в формате safetensors; модель содержит 162,4 млн параметров и использует библиотеку sentence-transformers. В README приведены метрики поиска на dim_768: cosine_accuracy@1 — 0,6382, @3 — 0,7703 и @5 — 0,8187. Эти значения относятся к описанной оценке и не гарантируют такое же качество на других данных. Лицензия в предоставленных сведениях не указана.

Экспериментальная чат-модель tavtav на архитектуре Llama, созданная дообучением базовой Llama-3-8B. Модель содержит 7,5 млрд параметров и принимает диалоги в формате ChatML; заявленная длина контекста расширена до 1 048 576 токенов с помощью метода PoSE. Модель предназначена для генерации текста и ведения диалогов с длинным контекстом. Обучение завершено лишь наполовину первого из двух запланированных эпох, поэтому качество и устойчивость ответов могут быть ограничены. Репозиторий содержит веса в формате Safetensors; лицензия — Apache-2.0.

Англоязычный cross-encoder на базе ELECTRA, дообученный командой cross-encoder с использованием класса SentenceTransformers. Модель оценивает пару «вопрос — абзац» и определяет, отвечает ли абзац на вопрос; она обучена на наборе GLUE QNLI, преобразованном из SQuAD в задачу вывода по тексту. Модель предназначена для ранжирования абзацев по релевантности вопросу, например, при поиске фрагментов для системы ответов на вопросы. Архитектура — ELECTRA с классификационной головой, размер — 136,7 млн параметров, максимальная длина контекста — 512 токенов. Поддерживаются форматы PyTorch, Safetensors, ONNX и OpenVINO. Модель принимает текстовые пары и выдаёт оценку релевантности, а также может использоваться для классификации текста. Карточка сообщает об англоязычных данных и обучении на QNLI. Лицензия — Apache-2.0. Результат оценивает релевантность пары, но сам по себе не генерирует ответ на вопрос; длина входа ограничена 512 токенами.

Qwen2.5-95B-Instruct — плотная языковая модель для генерации текста и диалогов, созданная ssmits как self-merge модели Qwen/Qwen2.5-72B-Instruct с помощью MergeKit. Веса собраны методом passthrough из диапазонов слоёв исходной модели; модель содержит 93,4 млрд параметров и опубликована в формате safetensors. Метаданные указывают контекст 32 768 токенов и интерфейс чата с поддержкой вызова инструментов. Модель предназначена для диалогов, генерации текстов, творческого письма, математических и пространственных рассуждений. Автор README сообщает об улучшениях на отдельных задачах относительно Qwen2.5-72B-Instruct, но также отмечает, что исходная модель превосходит её во многих общих языковых и рассуждательных сценариях. Оценка модели пока ограничена, поэтому результаты на конкретной задаче следует проверять отдельно. Карточка указывает лицензию other, без уточнения её условий. README описывает шаблон чата Qwen и заявляет окно контекста 128K, тогда как метаданные Hugging Face указывают native context 32 768 токенов; фактическое поддерживаемое окно следует сверять с конфигурацией и используемым ПО.

Эта модель представляет собой текстовый эмбеддер на базе decoder-only архитектуры Qwen2.5-Math-1.5B, дообученной для формирования семантических представлений. Она предназначена для поиска и сопоставления текстов по смыслу, включая оценку сходства предложений и извлечение признаков. Модель содержит 1,5 млрд параметров, работает с контекстом до 4096 токенов и распространяется в формате safetensors; для загрузки через Transformers или Sentence Transformers в README рекомендуется включить trust_remote_code. В README описана исследовательская работа по эмбеддингам, инициализированным моделями с RLVR-обучением: на MTEB и BRIGHT не обнаружено устойчивого преимущества над базовыми моделями при одинаковой процедуре обучения. Лицензия — Apache-2.0. Базовая Qwen2.5-Math-1.5B ориентирована на математические задачи на английском и китайском, а карточка этой модели заявляет многоязычную поддержку; конкретный набор языков для эмбеддера не перечислен.

amd/Qwen3.5-397B-A17B-MXFP4 — мультимодальная генеративная модель семейства Qwen, представленная AMD на основе Qwen/Qwen3.5-397B-A17B-FP8. Она предназначена для задач условной генерации текста с обработкой текста, изображений и видео на входе и генерацией текста на выходе. В README указан английский язык. Модель использует архитектуру Qwen3_5MoeForConditionalGeneration и оптимизирована для инференса на AMD MI300, MI350 и MI355 под Linux с ROCm 7.0.0, PyTorch 2.9.1 и Transformers 5.3.0. Для запуска рекомендуются SGLang или vLLM. Экспериментальная конфигурация оценки использовала максимальную длину контекста 262144 токена и распределение по четырём GPU, однако это не подтверждает полный нативный размер контекста модели. Ключевая особенность версии — статическое квантование весов экспертов языковой части и динамическое квантование активаций в формат OCP MXFP4 с помощью AMD-Quark 0.12; визуальные и некоторые другие слои исключены из квантования. На GSM8K модель получила 94,54 против 95,38 у исходной FP8-версии, сохранив 99,12% относительного результата. Ограничения включают зависимость от совместимого оборудования и программного стека AMD, а также ограниченность опубликованной оценки одним бенчмарком. Лицензия — Apache-2.0; для модификаций указаны авторские права Advanced Micro Devices, Inc. за 2026 год.

Qwen3.8-27B Abliterated MLX MXFP4-MTP — vision-language модель на основе Qwen/Qwen3.8-27B, упакованная Shiftedx для экосистемы MLX. Это квантованная версия полной 27-миллиардной архитектуры: языковая часть использует MXFP4 с размером группы 32, а неизменённая vision tower — веса BF16. Пакет также содержит 15 BF16-тензоров native MTP для ускорения спекулятивной генерации; рекомендованная глубина MTP — 3. Для работы требуется MTPLX версии 2.0.2 или новее. Модель предназначена для генерации и анализа текста, обработки изображений, задач с длинным контекстом, tool calling и сценариев, где важна высокая скорость вывода на совместимом Apple Silicon-оборудовании. В опубликованном тестировании эффективный проверенный контекст составлял до 131 072 токенов; языки README не уточняет. На Apple M4 Max с 64 ГиБ unified memory модель показала 100% в тестах tool calling, 86,7% в тестах длинного контекста и 75% в vision-тестах, однако результаты зависят от версии весов, runtime, настроек и оборудования. Изменение refusal-направления снизило измеренные отказы в специально подготовленном наборе с 12/12 до 0/12, но авторы подчёркивают, что это не доказывает универсальную «нецензурированность». Модель может чаще выдавать вредные или ошибочные ответы; результаты бенчмарков также показывают ограничения в общей проверке качества и agentic-сценариях. Использовать её следует с осторожностью, особенно при работе с инструментами, изображениями и генерируемым кодом. Лицензия — Apache-2.0; ограничения исходной модели сохраняются.

huginnfork/Qwen3.8-27B-NVFP4A16 — квантизированная версия мультимодальной модели Qwen/Qwen3.8-27B, разработанной командой Qwen. Модель предназначена для задач понимания изображений и текста, генерации текста по мультимодальному вводу, а также сценариев, где важны сниженное потребление памяти и ускоренный инференс на совместимом оборудовании. Она поддерживает архитектуру семейства Qwen3.5 с гибридом полноформатного внимания и линейного внимания на базе SSM, vision tower и multi-token prediction head. Точные сведения о поддерживаемых языках и размере контекстного окна в README не указаны. Используется схема NVFP4A16 (W4A16): веса 192 MLP-модулей представлены в 4-битном формате FP4 с групповыми масштабами FP8 E4M3, а активации остаются в bf16. Пути self-attention, linear attention, vision tower, lm_head и MTP head также сохранены в bf16. Размер модели составляет около 28,8 GiB в шести shards против 51,7 GiB для исходной bf16-версии. Такой подход обеспечивает существенное сжатие при сохранении наиболее чувствительных к ошибкам компонентов в более точном формате. Сильными сторонами являются экономия памяти, отсутствие квантизации активаций и сохранение в bf16 attention-, SSM- и визуальных компонентов. По приведённым измерениям, perplexity на wikitext-2-raw выросла с 6,9416 до 7,1497, то есть примерно на 3%, что указывает на некоторую потерю точности относительно родительской bf16-модели. Производительность и совместимость зависят от поддержки NVFP4A16 и используемого программно-аппаратного стека. Модель распространяется по лицензии Apache-2.0.

dbirks/Qwen3.8-27B-NVFP4-AutoRound — квантизированная версия мультимодальной модели Qwen/Qwen3.8-27B, подготовленная с помощью Intel AutoRound и упакованная в формате compressed-tensors для развертывания через vLLM. Модель предназначена для генерации и обработки текста, а также сохраняет архитектурные компоненты исходной мультимодальной модели, включая vision tower, хотя квантизация применяется только к языковому декодеру. В основе лежит гибридная архитектура из 64 слоёв: 48 слоёв GatedDeltaNet с линейным вниманием и 16 слоёв полного внимания, с поддержкой контекста до 262 тысяч токенов. Основная часть линейных слоёв языкового декодера сжата до NVFP4 W4A4: квантизируются веса и входные активации с группами размера 16. Проекции управления рекуррентностью, vision tower, MTP head и lm_head оставлены в BF16 для сохранения качества. Модель поддерживает английский язык; размер файла составляет около 20,6 ГБ против примерно 52 ГБ у BF16-версии. Сильная сторона модели — существенное снижение требований к памяти при сохранении качества, близкого к базовой BF16-модели: в приведённых тестах результаты GSM8K, HumanEval и MMLU-Pro находятся в пределах доверительных интервалов базовой версии. Модель в первую очередь рассчитана на GPU NVIDIA Blackwell с поддержкой FP4 tensor cores (SM100/SM120). На Ada и Hopper полноценного ускорения нет, возможен откат к более медленному режиму Marlin; для таких GPU рекомендуется родственная W4A16-версия. Лицензия — Apache-2.0.

AleaiactaEst1/Qwen3.8-27B-Unleashed-GGUF — это квантизированная GGUF-версия uncensored-модели Qwen3.8-27B, основанная на JonathanColetti/Qwen3.8-27B-Uncensored. Модель предназначена для генерации текста, диалогов, написания кода и других задач, поддерживаемых text-generation-моделями. Указанные языки — английский и китайский. Модель имеет размер 27B параметров и поддерживает контекст до 262 144 токенов. Используется динамическая покомпонентная квантизация Unsloth Dynamic 3.0: чувствительные тензоры сохраняют больше точности, а менее чувствительные сжимаются сильнее. Доступны девять уровней квантизации, включая UD-IQ4_XS, UD-Q3_K_XL и UD-IQ3_XXS. Для UD-Q3_K_XL заявлены размер 13,2 ГБ, скорость 112,8 токена в секунду в специализированном тесте на RTX 4090 и успешное извлечение данных из контекста длиной 250 806 токенов. К сильным сторонам относятся uncensored-поведение, длинный контекст, хорошее соотношение качества и размера, а также преимущество динамической квантизации над протестированными равномерными вариантами. Ограничения включают зависимость скорости от длины генерации и оборудования: для коротких ответов на RTX 4090 измерялось около 24,9 токена в секунду, а приведённые показатели получены на одной конфигурации и не универсальны. Самые низкие уровни квантизации могут заметно снижать качество; в README уровень Q2 назван практическим нижним пределом. Модель распространяется по лицензии Apache 2.0. Карта квантизации заимствована из unsloth/Qwen3.8-27B-GGUF, а веса и матрица важности — из JonathanColetti/Qwen3.8-27B-Uncensored; автор README отдельно указывает, что рецепт разработан Unsloth.

RedHatAI/Qwen3-VL-32B-Instruct-FP8-dynamic — мультимодальная instruction-модель, разработанная Red Hat на основе Qwen/Qwen3-VL-32B-Instruct. Модель принимает текст и изображения, а генерирует текст; архитектура указана как Qwen3VLForConditionalGeneration. Она предназначена для диалоговых и аналитических сценариев, требующих понимания визуального содержимого, включая описание изображений и ответы на вопросы по диаграммам. Модель содержит 32 млрд параметров и использует динамическую FP8-квантизацию весов и активаций линейных операторов в трансформерных блоках языковой части. По заявлению авторов, это примерно на 50% снижает размер на диске и требования к GPU-памяти по сравнению с представлением FP16. В оценках с vLLM использовалась максимальная длина контекста 262144 токена и поддержка до 10 изображений, однако отдельные характеристики исходной модели, включая языки и полный контекст, в README не указаны. К сильным сторонам относятся мультимодальность, существенное сокращение требований к памяти и близкие к исходной модели результаты на MMLU: 77,89 против 78,03. На ChartQA заявлена точность 86,68, но эти результаты нельзя напрямую считать универсальной оценкой качества. Ограничения связаны с потерями точности и возможными особенностями FP8-квантизации, а также с тем, что квантизация применяется не ко всем компонентам модели. Для развёртывания рекомендуется vLLM с tensor parallelism; модель распространяется по лицензии Apache-2.0.