I.3Извлечение и структурирование данных
В разделе собраны самостоятельные задачи, где AI помогает превращать разрозненные данные в структуру, пригодную для поиска, аналитики и автоматизации. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
25 791 модельQuantFactory/Mistral-7B-v0.2-hf-GGUF — квантизированная версия модели Mistral-7B-v0.2-hf. Модель разработана mistralai, а веса предоставлены alpindale; сборка выполнена с использованием llama.cpp. Она предназначена для генерации текста и совместима с рабочими процессами, использующими библиотеку Transformers и формат GGUF. Модель относится к семейству Mistral и имеет размер 7 миллиардов параметров. Доступны варианты квантования Q2_K, Q3_K_L, Q3_K_M, Q3_K_S, Q4_0, Q4_K_M, Q4_K_S, Q5_0, Q5_K_M, Q5_K_S, Q6_K и Q8_0, что позволяет выбирать компромисс между размером, требованиями к ресурсам и качеством. README не содержит сведений о поддерживаемых языках, длине контекста, конкретных модальностях помимо генерации текста, ограничениях, лицензии и рекомендуемых сценариях применения.
Kaoeiri/Mistral-magnum-v4_X_Cydonia-VXXX_Mixture-D — объединённая автором модель для диалогов и генерации текста. Она создана с помощью mergekit методом SLERP из Kaoeiri/Mistral-magnum-v4_X_Cydonia-VXXX_Mixture-C и nbeerbower/Mistral-Small-Drummer-22B. Архитектура — плотная MistralForCausalLM, размер — 22 млрд параметров; модель работает с текстом и поддерживает контекст до 32 768 токенов. Модель предназначена для диалогового общения и генерации текста. Метаданные указывают на интерфейс вызова инструментов, однако подробности его использования в карточке не описаны. Репозиторий содержит веса в формате safetensors и использует библиотеку Transformers. Лицензия в предоставленных данных не указана.
MMLW-retrieval-roberta-base — польскоязычный текстовый энкодер семейства RoBERTa, разработанный для информационного поиска. Модель преобразует запросы и фрагменты текста в векторы размерности 768, которые можно использовать для поиска релевантных документов и ранжирования кандидатов. Модель обучена в два этапа: сначала польскую RoBERTa дообучили методом многоязычной дистилляции на 60 млн польско-английских пар текста с английскими FlagEmbeddings (BGE) в роли учителей, затем провели контрастивное дообучение на польской обучающей части MS MARCO. Для кодирования запросов требуется добавлять префикс «zapytanie: ». Контекст модели — 514 токенов; размер — 151,6 млн параметров. На польском бенчмарке информационного поиска PIRB модель показала NDCG@10 56,38. Она предназначена для задач поиска по тексту, а не для генерации ответов. Распространяется по лицензии Apache-2.0.
EverMind AI представила MSA-4B — языковую модель на базе Qwen3-4B-Instruct-2507 с архитектурой Memory Sparse Attention (MSA), предназначенную для ответов на вопросы по очень большим массивам документов. В модели 3,7 млрд параметров по метаданным; README указывает 4,0 млрд. Архитектура использует разреженное внимание, позиционные кодировки RoPE на уровне документов и чередование памяти для многопереходных рассуждений. По заявлению разработчика, эти механизмы снижают вычислительную сложность и позволяют работать с памятью до 100 млн токенов; метаданные указывают нативный контекст 262 144 токена. Модель проверялась на задачах одношагового и многошагового вопросно-ответного поиска, а также на тестах длинного контекста. MSA-4B подходит для поиска ответов в больших коллекциях документов, включая сценарии, где сведения распределены по нескольким фрагментам. README сообщает о сравнении с RAG-системами на девяти наборах данных и о сильных результатах на большинстве сравнений с моделями той же размерности; это результаты, заявленные авторами. Модель текстовая, карточка ориентирована на английский язык, а среди тестов указан DuReader. Основа — Qwen3-4B-Instruct-2507, лицензия MIT. Для запуска README отсылает к отдельному коду GitHub и не содержит завершённых инструкций установки.
serbog/multilingual-e5-large-skill-job-matcher — модель эмбеддингов на базе XLM-RoBERTa, представленная как Sentence Transformers. Она преобразует предложения и абзацы в плотные векторы размерностью 1024 для семантического поиска, сравнения текстов и кластеризации. Название указывает на сопоставление навыков и вакансий, однако README не приводит конкретных примеров или описания этой специализации. Модель имеет 658,7 млн параметров, работает с текстом и принимает последовательности длиной до 514 токенов. В README указано обучение с CosineSimilarityLoss; доступный формат — PyTorch. Модель подходит для построения векторного поиска и ранжирования по сходству. Лицензия и конкретные поддерживаемые языки в предоставленных данных не приведены.
Mohamed-Gamil/multilingual-e5-small-JapaneseTeacher — модель Sentence Transformers, дообученная на базе intfloat/multilingual-e5-small для создания эмбеддингов предложений и абзацев. Она использует архитектуру BERT с усреднением токенных представлений и нормализацией, выдаёт плотные векторы размерности 384 и сравнивает их с помощью косинусного сходства. Максимальная длина последовательности — 512 токенов; число параметров — 124,3 млн. Модель предназначена для семантического поиска и сопоставления текстов, включая оценку сходства, поиск перефразировок, кластеризацию и классификацию на основе эмбеддингов. В README указаны английский язык и обучающие пары anchor-positive; примеры обучающих данных содержат японский текст и грамматические пояснения, поэтому возможна специализация на сопоставлении японских учебных материалов, но её охват не подтверждён отдельным описанием. Доступна по лицензии Apache-2.0.
MyAwesomeModel — модель на базе BERT для извлечения признаков из текста, опубликованная на Hugging Face с использованием библиотеки Transformers и PyTorch. Основное назначение модели — преобразование текстовых входов в векторные представления для последующего применения в задачах машинного обучения и анализа текста. В README также заявлены улучшения рассуждений, генерации кода, ответов на вопросы, классификации и других генеративных сценариев, однако эти утверждения не согласуются с метаданными, где основной pipeline-тег — feature-extraction, а архитектурное семейство указано как BERT. Размер модели, длина контекста и поддерживаемые естественные языки не приведены. Модель распространяется по лицензии MIT.
MyAwesomeModel — модель из репозитория tool1/MyAwesomeModel-TestRepo, опубликованная с лицензией MIT и предназначенная для извлечения признаков через библиотеку Transformers. Метаданные относят её к семейству BERT и задаче feature extraction на базе PyTorch. README описывает обновлённую версию как модель с улучшенными рассуждениями, математикой, программированием, логикой, диалогами, суммаризацией, классификацией и function calling, однако эти сведения не согласуются с указанной в метаданных задачей feature extraction и не подтверждают архитектуру, размер, модальности, языки или длину контекста модели. Поэтому для каталога надёжнее рассматривать её прежде всего как Transformers-модель для получения векторных представлений текста. Модель может использоваться как компонент последующих систем машинного обучения, например для сравнения текстов, классификации или поиска по близости, если фактическая конфигурация репозитория это поддерживает. Ограничения, требования к вычислительным ресурсам и рекомендуемые параметры инференса для режима feature extraction в карточке не описаны. Лицензия модели — MIT.
OpenAI o4 Mini High — вариант модели рассуждений OpenAI o4-mini с параметром reasoning_effort, установленным на high. Это компактная модель семейства o-series, рассчитанная на быстрые и экономичные ответы с усиленным пошаговым рассуждением. В метаданных каталога для неё указана задача image-text-to-text. Модель предназначена для задач, где полезны рассуждение и работа с визуальным вводом и текстом. README сообщает, что это тот же вариант, что o4-mini, с повышенным уровнем reasoning effort; сведения об архитектуре, размере, контекстном окне, языках и условиях лицензии в предоставленных источниках отсутствуют.
OrcaMaid 13B — это языковая модель для генерации текста в формате GGUF, созданная ddh0 на базе архитектуры Llama и квантизированная TheBloke. Репозиторий содержит варианты модели с разрядностью 2, 3, 4, 5, 6 и 8 бит для запуска на CPU и GPU. Исходная модель доступна в формате FP16 для GPU-инференса и дальнейших преобразований. Модель предназначена для выполнения инструкций и генерации ответов в текстовых сценариях, включая локальный инференс через llama.cpp и совместимые приложения и библиотеки. Для работы используется шаблон Alpaca с секциями Instruction и Response. Поддерживаются клиенты и инструменты, совместимые с GGUF, включая text-generation-webui, KoboldCpp, GPT4All, LM Studio и llama-cpp-python. Ключевые характеристики — 13 миллиардов параметров, текстовая модальность, архитектура семейства Llama и формат GGUFv2. Сведения о поддерживаемых языках и размере контекста в README не указаны. Квантизация позволяет выбирать компромисс между требованиями к памяти и качеством, однако конкретные характеристики качества и аппаратные требования зависят от выбранного варианта. Лицензия указана как microsoft-research-license для исходной модели; также заявляется применимость лицензии Meta Llama 2, поэтому условия использования и взаимодействие лицензий следует проверять в исходном репозитории.
Parakeet TDT 1.1B — модель автоматического распознавания речи, совместно разработанная командами NVIDIA NeMo и Suno.ai. Она преобразует английскую речь в текст, записанный строчными буквами, и рассчитана на транскрибирование отдельных аудиозаписей и пакетную обработку файлов. Модель построена на архитектуре FastConformer-TDT и содержит около 1,1 млрд параметров. Она принимает монофоническое аудио WAV с частотой 16 кГц и выдаёт текстовую строку. Предсказание длительности токенов в TDT позволяет пропускать часть пустых кадров и ускорять инференс. Модель обучали на 64 тысячах часов английской речи из частных и открытых наборов данных. В опубликованных результатах приведены показатели WER для нескольких тестовых наборов; например, 1,39% на LibriSpeech test-clean при жадном декодировании без внешней языковой модели. Модель доступна через NVIDIA NeMo для инференса и дообучения. Лицензия — CC BY 4.0.
bunsenfeng/parti_5_full — текстовая генеративная модель на архитектуре Qwen2, опубликованная bunsenfeng. Метаданные Hugging Face указывают около 7,1 млрд параметров, контекст до 32 768 токенов и поддержку диалогового режима; модель принимает текст и генерирует текст. Поиск также обнаружил карточку Featherless, описывающую модель как 7,6-миллиардную и заявляющую контекст 131 072 токена, однако это расходится с метаданными Hugging Face, поэтому в характеристиках использованы значения метаданных. Модель подходит для диалогов, генерации текста и работы с длинными текстовыми запросами в пределах указанного контекста. Карточка Featherless относит её к дообученным моделям, но надёжно установить базовую модель и конкретные специализации по доступным сведениям нельзя. Репозиторий содержит веса safetensors; сведения о лицензии, языковом охвате и оценках качества не подтверждены использованными источниками.
Карточка модели qiyuw/pcl-bert-large-uncased на Hugging Face совпадает с карточкой qiyuw/pcl-roberta-base, поэтому описание составлено по ней. qiyuw/pcl-roberta-base — англоязычная модель RoBERTa для оценки сходства предложений. Она использует архитектуру RobertaForCL и содержит 151,8 млн параметров; модель принимает текст и подходит для сравнения предложений по смыслу. Длина контекста составляет 514 токенов. Модель распространяется в формате PyTorch по лицензии MIT. README не содержит дополнительных сведений о методе обучения или конкретных сценариях применения.
Карточка модели Pq234/privacy-filter на Hugging Face совпадает с карточкой openai/privacy-filter, поэтому описание составлено по ней. OpenAI Privacy Filter — модель OpenAI для обнаружения и маскирования персональных данных в тексте. Она предназначена для высокопроизводительной очистки данных, в том числе в локальных и браузерных сценариях, и может дообучаться под особенности данных организации. Лицензия Apache 2.0 допускает коммерческое использование. Модель выполняет двунаправленную классификацию токенов и выделяет связные фрагменты в одном проходе. Архитектура — разреженный MoE-трансформер с 8 блоками, шириной скрытого представления 640 и 128 экспертами, из которых на токен выбираются 4. Модель возвращает BIOES-разметку для восьми категорий: номера счетов, частные адреса, электронные адреса, имена людей, телефоны, URL, даты и секреты. В метаданных указано 145,4 млн параметров и контекст 131 072 токена; README заявляет окно до 128 000 токенов. Доступны форматы Safetensors и ONNX. Модель подходит для предварительной фильтрации текстов перед хранением, передачей или дальнейшей обработкой. Пороговые режимы позволяют настраивать компромисс между точностью и полнотой обнаружения. Это вспомогательное средство минимизации данных, а не гарантия анонимизации или соответствия требованиям. Набор меток фиксирован, для изменения политики нужно дообучение; качество может снижаться на неанглийских текстах, нелатинских письменностях и данных вне обучающего распределения. В чувствительных областях возможны как пропуски, так и избыточное маскирование.
Карточка модели RedHatAI/privacy-filter на Hugging Face совпадает с карточкой openai/privacy-filter, поэтому описание составлено по ней. OpenAI Privacy Filter — модель OpenAI для обнаружения и маскирования персональных данных в тексте. Она предназначена для высокопроизводительной очистки данных, в том числе в локальных и браузерных сценариях, и может дообучаться под особенности данных организации. Лицензия Apache 2.0 допускает коммерческое использование. Модель выполняет двунаправленную классификацию токенов и выделяет связные фрагменты в одном проходе. Архитектура — разреженный MoE-трансформер с 8 блоками, шириной скрытого представления 640 и 128 экспертами, из которых на токен выбираются 4. Модель возвращает BIOES-разметку для восьми категорий: номера счетов, частные адреса, электронные адреса, имена людей, телефоны, URL, даты и секреты. В метаданных указано 145,4 млн параметров и контекст 131 072 токена; README заявляет окно до 128 000 токенов. Доступны форматы Safetensors и ONNX. Модель подходит для предварительной фильтрации текстов перед хранением, передачей или дальнейшей обработкой. Пороговые режимы позволяют настраивать компромисс между точностью и полнотой обнаружения. Это вспомогательное средство минимизации данных, а не гарантия анонимизации или соответствия требованиям. Набор меток фиксирован, для изменения политики нужно дообучение; качество может снижаться на неанглийских текстах, нелатинских письменностях и данных вне обучающего распределения. В чувствительных областях возможны как пропуски, так и избыточное маскирование.
cross-encoder/quora-distilroberta-base — англоязычная модель cross-encoder на базе DistilRoBERTa, дообученная с помощью SentenceTransformers на датасете Quora Duplicate Questions. Она принимает пару вопросов и оценивает числом от 0 до 1 вероятность того, что они являются дубликатами. Модель предназначена для поиска повторяющихся вопросов и ранжирования кандидатов по вероятности дублирования; её можно применять, например, при дедупликации пользовательских запросов или вопросов на форумах. Архитектура — RobertaForSequenceClassification, около 95,2 млн параметров; базовая модель — distilbert/distilroberta-base. Нативный контекст составляет 514 токенов. Доступны форматы PyTorch, safetensors, ONNX, OpenVINO и Flax. Лицензия — Apache-2.0. Оценка отражает вероятность дублирования, а не общую семантическую схожесть: вопросы на близкие темы, но с разными намерениями, могут получить низкий балл. Модель рассчитана на английские вопросы; перенос её оценок на другие языки и типы текстов не подтверждён.
bunnycore/Qwen-2.5-3b-RP — чат-модель на архитектуре Qwen2, созданная автором репозитория слиянием весов через mergekit методом DARE TIES. В слияние вошли Replete-AI/Replete-LLM-V2.5-Qwen-3b, unsloth/Qwen2.5-3B-Instruct и bunnycore/qwen-2.5-3b-lora_model; в README базовой моделью назван Replete-AI/Replete-LLM-V2.5-Qwen-3b. Модель содержит 3,1 млрд параметров, использует формат safetensors и поддерживает контекст до 32 768 токенов. Модель предназначена для диалоговой генерации текста и ответов на запросы; метаданные также указывают интерфейс вызова инструментов. Карточка не описывает отдельную специализацию, языковое покрытие или оценку качества. Лицензия в предоставленных данных не указана.
Theros/Qwen2.5-ColdBrew-R1-test5 — объединённая языковая модель, созданная с помощью mergekit методом SLERP из Theros/Qwen2.5-ColdBrew-R1-test3 и bunnycore/Qwen-2.5-7B-Stock-Deep-Bespoke-v2. Модель разработана для диалогов и генерации текста; её архитектура — плотная Qwen2, размер — 7,1 млрд параметров, а родной контекст составляет 131 072 токена. Репозиторий содержит веса в формате safetensors и предназначен для использования с библиотекой Transformers. Модель подходит для ведения диалогов и генерации текста с длинным контекстом. В карточке не приведены сведения о языках, лицензии и специальных прикладных областях, поэтому их нельзя уточнить. Качество и поведение объединённой модели зависят от исходных моделей; отдельные ограничения в карточке не описаны.
mradermacher/Qwen3-4B-Instruct-2507-20250808-233922-0-i1-GGUF — это квантизированная версия текстовой инструкционной модели EganAI/Qwen3-4B-Instruct-2507-20250808-233922-0, подготовленная mradermacher в формате GGUF. Модель основана на Qwen3, имеет около 4 миллиардов параметров и предназначена для генерации текста и диалогового взаимодействия по инструкциям. Модель подходит для локального запуска в сценариях, где требуется компактная causal language model: ответы на запросы, генерация и преобразование текста, простые ассистентские задачи и эксперименты с LLM. В README указана поддержка английского языка. Мультимодальные возможности и размер контекстного окна не заявлены, поэтому модель следует рассматривать как текстовую. Доступно множество вариантов квантизации GGUF с размерами примерно от 1,2 до 2,7 ГБ. Это облегчает запуск на устройствах с ограниченными ресурсами, однако степень квантизации влияет на качество: наиболее компактные варианты могут заметно уступать по качеству, тогда как i1-Q4_K_M отмечен как быстрый и рекомендуемый, а i1-Q4_K_S — как сбалансированный по размеру, скорости и качеству. Модель распространяется под лицензией Apache-2.0.
Это uncensored- и decensored-версия мультимодальной модели Qwen3.5-122B-A10B, созданная независимым автором llmfan46 с использованием инструмента Heretic. Модель распространяется в формате GGUF и предназначена для локального запуска в llama.cpp, LM Studio, Ollama и других совместимых инструментах. Модель основана на архитектуре Qwen3.5 с гибридным сочетанием Gated Delta Networks и разреженной Mixture-of-Experts. Заявлены 122 млрд параметров и 10 млрд активных параметров, поддержка текста и изображений, а также 201 языка. Для работы с изображениями требуется отдельный vision projector. В репозитории доступны варианты квантования от BF16 и Q8_0 до Q2_K, что позволяет выбирать между качеством и требованиями к памяти. Также заявлено сохранение всех 785 MTP. Ключевая особенность — значительное снижение числа отказов по сравнению с исходной моделью: 8 против 92 из 100 в приведённом тесте, при KL-дивергенции 0,0856. Это делает модель подходящей для сценариев, где требуется меньше ограничений и отказов при генерации, однако одновременно снижает встроенные защитные механизмы. README не содержит точных сведений о размере контекста, поэтому этот параметр нельзя надёжно указать. Модель распространяется по лицензии Apache-2.0.
unsloth/Qwen3.5-2B — постобученная мультимодальная модель от Unsloth на базе Qwen/Qwen3.5-2B. Она сочетает причинную языковую модель с визуальным энкодером и предназначена для диалогов, понимания изображений и вызова инструментов. Модель содержит 2 млрд параметров, использует гибридную архитектуру с Gated Delta Networks и Gated Attention и поддерживает контекст до 262 144 токенов. Модель подходит для прототипирования, разработки и специализированного дообучения; её можно запускать через Transformers, vLLM, SGLang и KTransformers. Qwen3.5 заявляет поддержку 201 языка и диалекта, однако в карточке нет списка языков, специфичного для этой версии. Модель работает в режиме без рассуждений по умолчанию; авторы также описывают режим рассуждений и возможности работы с видео в составе семейства Qwen3.5. Весовые файлы представлены в формате Safetensors. Лицензия — Apache-2.0. Масштаб в 2 млрд параметров делает модель удобной для экспериментов и настройки под конкретные задачи, но карточка рекомендует прежде всего прототипирование и разработку; производительность и пропускная способность зависят от инфраструктуры и выбранного движка.
Qwen3.6-27B-Fable-Fusion-711-Uncensored-Heretic-NM-DAU-MTP-RFA_S — это смешанная малобитная квантованная версия модели Qwen3.6-27B-Fable-Fusion-711-Uncensored-Heretic-NM-DAU-MTP. Базовую модель разработал DavidAU совместно с Nightmedia, TeichAI, armand0e и trohrbaugh; репозиторий квантования поддерживает tcclaviger. Модель основана на Qwen3.6 с 27 млрд параметров и предназначена для широкого круга задач: следования инструкциям, решения задач, рассуждений, программирования, творческого письма, сторителлинга и ролевого взаимодействия. В карточке заявлена поддержка английского и китайского языков, а также текстово-графического сценария, однако размер контекста не указан. Версия RFA_S использует смешанную точность: основные dense MLP-слои, часть attention-блоков и MTP-блок квантованы в RFA 4-bit, линейное и gated-delta attention — в RFI int8 W8A8, а отдельные компоненты, включая vision tower, embeddings и lm_head, сохранены в bf16. Всего квантовано 405 модулей, общий размер составляет около 22,97 ГБ. Такой подход уменьшает требования к памяти по сравнению с менее агрессивной сборкой, сохраняя часть компонентов в более высокой точности. Ключевые ограничения связаны с совместимостью: требуется специальный образ tcclaviger/vllm:dev или более новый runtime с поддержкой RFA/RFI и оборудования RDNA 4 (gfx12xx); работа на другом оборудовании не подтверждена. Это не самостоятельная дообученная архитектура, а численно изменённая квантованная сборка родительской модели. Лицензия указана как Apache-2.0.
RedHatAI/Qwen3.8-2.4T-A95B-NVFP4-REAP-50 — квантизированная версия модели Qwen/Qwen3.8-2.4T-A95B для генерации текста. Модель разработана RedHatAI и построена на архитектуре Qwen3_5MoeForCausalLM с экспертной архитектурой MoE. Она принимает текст и генерирует текст, предназначена для задач вывода больших языковых моделей и развертывания через vLLM. В модели применена смешанная квантизация NVFP4/FP4: веса и активации линейных слоёв MoE-экспертов представлены в формате FP4, тогда как attention и другие неквантизированные слои сохраняют исходную точность. Также заявлено REAP-сокращение экспертов на 50%, что уменьшает размер на диске и потребление GPU-памяти квантизированных слоёв примерно на 75% с дополнительным выигрышем за счёт разреженности. Модель рассчитана на инференс с vLLM, включая tensor parallelism и expert parallelism. Размер модели, длина контекста, поддерживаемые языки и точные модальные возможности в README не указаны. Основные преимущества — существенное снижение требований к памяти и объёму хранения при сохранении исходной архитектуры и готовность к эффективному инференсу на поддерживаемом оборудовании. Ограничения связаны с потерями качества, возможными для агрессивной квантизации и pruning; README сообщает о сравнительной оценке, но не приводит её результаты. Также имеется несогласованность: в названии и описании указано 50% REAP Pruning, а в разделе создания модели — 25%. Лицензия в README не указана.
WaveCut/Qwen3.8-27B-MXFP8-CRACK-NInfer — артефакт модели в формате .ninfer, подготовленный для движка NInfer компанией или пользователем WaveCut на основе community fine-tune dealignai/Qwen3.8-27B-MXFP8-CRACK и базовой модели Qwen/Qwen3.8-27B. Модель предназначена для локального инференса на одной CUDA-видеокарте, поддерживает текстовые и визуальные входные данные и может использоваться через CLI либо совместимый с OpenAI/Anthropic сервер NInfer для генерации и задач понимания изображений. Точные прикладные возможности fine-tune в README не раскрыты. Архитектура соответствует Qwen3.8-27B; артефакт содержит 1118 тензоров и 6 ресурсов интерфейса, включая токенизатор, chat template и конфигурации препроцессора. Используется профиль NInfer groupwise-int с групповой квантизацией, включающей Q4/Q5/Q6/W8 и BF16; исходные веса были деквантизированы в BF16 и повторно квантизированы, поэтому возможна немного меньшая точность по сравнению с нативной BF16-версией того же fine-tune. Максимальный контекст зависит от конфигурации и оборудования: в примере запуска указан 16384 токена, а вариант ninfer-3090 заявляет до 171K токенов INT8-контекста на RTX 3090. Основное преимущество — запуск 27-миллиардной мультимодальной модели на одной видеокарте с оптимизированным CUDA/C++-движком; артефакт проверен пробным запуском с согласованным выводом. Основные ограничения — зависимость от NInfer, CUDA и совместимой видеокарты, специализация upstream-движка на RTX 5090-классе и одна GPU, а также потенциальная потеря качества из-за двойной квантизации. Для RTX 3090 рекомендуется отдельная ветка ninfer-3090. В README не указаны языки модели и точные значения параметров или размер контекста официальной архитектуры. Лицензия — Apache-2.0, как у указанного артефакта и upstream-моделей.
Qwen3.8-27B-NVFP4-BUDGET-GGUF — производная версия модели Qwen3.8-27B, подготовленная автором репозитория esatapedico на основе квантованной сборки Unsloth. Это плотная модель с 27 млрд параметров, гибридной архитектурой Gated DeltaNet и Gated Attention и контекстом до 262 144 токенов. Репозиторий содержит две компактные сборки GGUF: BUDGET и STARVED; в обеих удалена голова MTP для спекулятивного декодирования, а выходная проекция и эмбеддинги токенов квантованы до малых типов. Модель предназначена для диалогов и генерации текста, а при подключении совместимого проектора mmproj-BF16.gguf также принимает изображения и видео. Сборки рассчитаны на запуск через llama.cpp на видеокартах Blackwell с 16 ГБ памяти: BUDGET занимает 14,72 ГБ, STARVED — 14,59 ГБ. Автор приводит ориентировочные результаты одного запуска на RTX 5070 Ti и предупреждает, что компактное квантование снижает точность; заявленный образный ввод требует отдельного проектора, а для работы нужны свежая версия llama.cpp и поддержка NVFP4 и sm_120. Модель распространяется по лицензии Apache-2.0. Это конверсия и дополнительное квантование/уплотнение производной сборки; веса не обучались и не дообучались автором репозитория.
summerMC/Qwen3.8-27B-SpeedX27-VL-GDN64 — экспериментальная мультимодальная модель на базе Qwen/Qwen3.8-27B, разработанная summerMC и предназначенная для диалогов и анализа изображений. В метаданных указаны архитектура Qwen3.5 с классом Qwen38GDN64VLForConditionalGeneration, 27 млрд параметров у базовой модели, поддержка vision и интерфейс вызова инструментов; основной pipeline — image-text-to-text. Модель распространяется в формате safetensors по лицензии Apache-2.0. Главный заявленный результат — экономия видеопамяти при длинном контексте: README описывает тест на GPU примерно с 80 ГиБ, где модель обработала 262 144 токена с пиковым использованием около 55,36 ГиБ, тогда как базовая Qwen3.8-27B завершила 196 608 токенов и достигла 72,82 ГиБ. Описанный результат относится к конкретной конфигурации теста; README указывает обученный контекст 262 144 токена и называет 1 трлн токенов лишь логическим контекстом для потоковой обработки, а не проверенным нативным контекстом. Данных о языках модели в карточке нет.
Qwen3.8-27B-thinkingcap-abliterated-GGUF — GGUF-квантизированная версия модели hotdogs/Qwen3.8-27B-thinkingcap-abliterated, подготовленная и опубликованная mradermacher. Модель дообучалась на датасете hotdogs/thinkingcap-sft-qwen38-27b и ориентирована на генерацию текста, рассуждения и эффективное использование токенов. В метаданных указан английский язык. Размер базовой модели — 27B параметров. Доступны варианты квантизации GGUF от Q2_K до Q8_0, включая IQ4_XS и несколько вариантов K-квантизации; размеры файлов составляют примерно от 11 до 29,1 ГБ. Для вариантов Q4_K_S и Q4_K_M заявлены высокая скорость и рекомендованный статус, а Q8_0 описан как вариант с лучшим качеством. Также предоставлены файлы mmproj для мультимодального дополнения, однако конкретные поддерживаемые типы входных данных и размер контекстного окна в README не указаны. Сильными сторонами являются широкий выбор уровней квантизации, возможность запуска в средах, совместимых с GGUF, и специализация исходной модели на reasoning и token-efficient подходах. Качество и требования к памяти зависят от выбранного варианта: более компактные квантизации экономичнее, но могут снижать качество, тогда как Q6_K и Q8_0 требуют больше ресурсов. Модель помечена как abliterated, но последствия этого для поведения и безопасности в README не раскрыты. Лицензия — Apache-2.0.
Qwen3.8-Distilled-9B-NPU2 — это квантизированный порт модели empero-ai/Qwen3.8-9B-Distill, подготовленный Atomic-Germ для инференса на NPU AMD XDNA. Модель скомпилирована для среды выполнения FastFlowLM версии 1.0.1 и поставляется в формате Q4NX, а не GGUF. Размер файла весов model.q4nx составляет 7,11 ГБ; конверсия выполнена 26 августа 2026 года. Модель предназначена для языковых и визуально-языковых задач, включая работу с изображениями, рассуждения и function calling. В репозитории также присутствует отдельный файл vision_weight.q4nx, а конфигурация и шаблон диалога рассчитаны на использование с FastFlowLM. Архитектура, точное число параметров, поддерживаемые языки и размер контекстного окна в карточке не указаны. Ключевое преимущество модели — адаптация к инференсу на AMD XDNA NPU с использованием квантизации Q4NX и специализированного runtime FastFlowLM. Ограничения связаны с зависимостью от FastFlowLM и совместимого оборудования AMD XDNA, а также с отсутствием подробных сведений о качестве, языковом охвате и контексте. Лицензия — Apache-2.0.
AtomicChat/Qwen3.8-Flash-Next-GGUF — квантованная версия модели Qwen3.8-Flash-Next, основанная на оригинальных весах Qwen и подготовленная командой AtomicChat. Модель предназначена для локальной генерации текста и мультимодальных сценариев с обработкой изображений через llama.cpp. Это первый открытый релиз весов архитектуры, лежащей в основе Qwen4. Модель содержит около 177 млрд параметров; примерно 51 млрд из них представлены таблицей n-грамм, а не обычными весами. Доступны сборки GGUF с квантованием от 3,84 до 5,00 бит на вес, причём вариант AD-4.27bpw-Q4_K_M заявлен как оптимальный по соотношению качества и размера. Для него требуется около 92,9 ГБ на SSD и 54,5 ГБ памяти без учёта таблицы n-грамм. В README указан контекст до 32768 токенов, поддержка изображений и скорость около 36 токенов в секунду при генерации на Apple M5 Max; языки явно не перечислены. Сильные стороны модели — возможность локального запуска крупной 176–177B-модели на системах с ограниченной оперативной памятью за счёт размещения таблицы n-грамм на SSD, а также сохранение близкого к более тяжёлой 5-битной сборке качества у варианта AD-4.27bpw. Ограничения включают очень большой объём файлов, необходимость совместимой сборки llama.cpp с поддержкой этой архитектуры и специальные параметры запуска, включая mmap и отключение автоматической подгонки размещения. Для Apple Silicon таблица должна находиться в отдельном GGUF-шарде. Лицензия указана как qwen-community-1.0; ссылка ведёт на лицензию базовой модели Qwen/Qwen3.8-Flash-Next. Дополнительные условия использования в README не раскрыты.
Qwen3.8-Flash-Next-GGUF — GGUF-квантизированная версия модели Qwen3.8-Flash-Next, разработанной Qwen и квантизированной пользователем qtum с использованием llama.cpp. Модель предназначена для генерации текста и локального запуска через llama.cpp; заявленные языки — английский и китайский. Модель содержит около 180 млрд параметров: MoE-ядро на 125 млрд параметров с 48 слоями, 512 экспертами, маршрутизацией top-10 и одним общим экспертом, а также 51-миллиардную PLE-таблицу n-грамм. Используется гибридное внимание: линейное внимание Gated DeltaNet чередуется с блоками Qwen Sparse Attention и гиперсвязями. Максимальная длина контекста — до 262 тысяч токенов. Слой MTP для чернового предсказания был исключён при конвертации. Доступны варианты BF16 и квантизации IQ4_XS, IQ3_XXS, IQ2_XS-layered и IQ1_M-layered размером примерно от 76,4 до 118,8 GiB; каждый вариант поставляется в восьми сегментах. Квантизация снижает требования к хранилищу, но ухудшает показатель perplexity относительно BF16, особенно у низкобитных вариантов. Для работы необходимо скачать все восемь сегментов и использовать llama.cpp; модель предъявляет очень высокие требования к ресурсам. Лицензия — Qwen Community License 1.0, унаследованная от исходной модели, а не MIT.