I.3Извлечение и структурирование данных

luiz-and-robert-thesis разработали модель эмбеддингов на базе MPNet для представления предложений и абзацев в виде плотных векторов размерности 768. Она предназначена для семантического поиска, сравнения сходства текстов и кластеризации. Модель обучали с TripletLoss и косинусной метрикой расстояния; доступна в формате safetensors и рассчитана на контекст до 514 токенов. Для использования предусмотрена библиотека Sentence-Transformers. Лицензия в предоставленных данных не указана.

Fjoralb1 выпустил модель эмбеддингов на базе архитектуры BERT, предназначенную для преобразования предложений и абзацев в плотные векторы размерностью 128. Модель содержит 124,3 млн параметров и принимает текст с контекстом до 512 токенов. Векторы подходят для семантического поиска, сравнения сходства, кластеризации и других задач, где нужно находить близкие по смыслу фрагменты текста. Модель обучалась с MatryoshkaLoss и MultipleNegativesRankingLoss; обучение поддерживает представления разных размерностей, включая 128, 64, 32 и 16. Модель доступна в форматах PyTorch и Safetensors для библиотеки Sentence Transformers. В предоставленных материалах сведения о лицензии и конкретных поддерживаемых языках отсутствуют.

MyAwesomeModel — модель на базе архитектуры BERT, опубликованная в репозитории asfafagf45/MyAwesomeModel-TestRepo. Согласно метаданным, она предназначена для извлечения признаков и работает с библиотекой Transformers на PyTorch. Лицензия — MIT.

leerobert/my-awesome-setfit-model — модель Sentence-Transformers на базе MPNet, которая преобразует предложения и абзацы в плотные векторы размерности 768. Её можно использовать для семантического поиска, кластеризации и сравнения сходства текстов. Модель содержит 136,7 млн параметров, принимает текст и выдаёт эмбеддинги. В карточке указано обучение с CosineSimilarityLoss; модель рассчитана на применение через Sentence-Transformers или Transformers с подходящей операцией pooling. Лицензия в доступных данных не указана.

Карточка модели lewtun/my-awesome-setfit-model-2 на Hugging Face совпадает с карточкой lewtun/my-awesome-setfit-model, поэтому описание составлено по ней. lewtun/my-awesome-setfit-model — модель Sentence-Transformers на архитектуре MPNet с 136,7 млн параметров. Она преобразует предложения и абзацы в плотные векторы размерности 768, предназначенные для сравнения смысловой близости текстов. Модель подходит для семантического поиска и кластеризации текстов, а также для получения эмбеддингов, используемых в других системах. В README указано обучение с функцией потерь CosineSimilarityLoss. Для применения описана работа через Sentence-Transformers или Transformers с подходящей операцией pooling. Максимальная длина контекста — 514 токенов. Модель принимает текст и выдаёт векторы. В карточке нет сведений о лицензии или целевых языках, поэтому определить условия использования и языковую специализацию по доступным данным нельзя.

Карточка модели ameerak/my-awesome-setfit-model-ameer на Hugging Face совпадает с карточкой lewtun/my-awesome-setfit-model, поэтому описание составлено по ней. lewtun/my-awesome-setfit-model — модель Sentence-Transformers на архитектуре MPNet с 136,7 млн параметров. Она преобразует предложения и абзацы в плотные векторы размерности 768, предназначенные для сравнения смысловой близости текстов. Модель подходит для семантического поиска и кластеризации текстов, а также для получения эмбеддингов, используемых в других системах. В README указано обучение с функцией потерь CosineSimilarityLoss. Для применения описана работа через Sentence-Transformers или Transformers с подходящей операцией pooling. Максимальная длина контекста — 514 токенов. Модель принимает текст и выдаёт векторы. В карточке нет сведений о лицензии или целевых языках, поэтому определить условия использования и языковую специализацию по доступным данным нельзя.

Nemotron-3-Embed-8B-GGUF — мультиязычная модель для создания текстовых эмбеддингов, опубликованная Abiray на основе модели NVIDIA Nemotron-3-Embed-8B-BF16. Она предназначена для Retrieval-Augmented Generation (RAG), семантического поиска и кросс-языкового поиска, включая локальные сценарии на потребительском оборудовании с использованием llama.cpp, Ollama или LM Studio. Модель имеет архитектуру Transformer, содержит около 8 миллиардов параметров и поддерживает контекст длиной до 32 тысяч токенов. Заявлена поддержка английского, французского, немецкого, испанского, итальянского, португальского, русского, китайского и японского языков. Репозиторий предоставляет варианты квантования в формате GGUF от Q3_K_M до Q8_0 объёмом примерно от 4,01 до 8,46 ГБ; Q4_K_M указан как рекомендуемый вариант, обеспечивающий баланс между качеством и требованиями к памяти. Сильными сторонами модели являются мультиязычность, поддержка кросс-языкового поиска, возможность локального развёртывания и ориентация на задачи извлечения информации; в README также заявлено первое место в мультиязычном рейтинге RTEB по состоянию на июль 2026 года. Ограничения связаны с потерями качества у более низких уровней квантования и значительными требованиями к памяти. Лицензия — OpenMDW-1.1.

IsValorum/Nex-N2.5-mini-APEX-I-MiniPlus-GGUF — это квантизированная GGUF-версия модели Nex-N2.5-mini, разработанной Nex-AGI и дополнительно оптимизированной IsValorum. Модель основана на архитектуре qwen35moe с 35,1 млрд параметров и использует многомодельную экспертную архитектуру MoE. В комплект входят основная модель размером около 14,56 ГБ с квантизацией 3,36 BPW и отдельный vision-проектор mmproj в формате Q8_0 размером около 610 МБ. Модель предназначена для рассуждений, вызова функций и инструментов, автономного взаимодействия с компьютером, обработки изображений и анализа графического интерфейса. Заявлены мультимодальные возможности, высокоточное визуальное сопоставление и поддержка высокоразрешённых изображений. В README перечислена поддержка английского, китайского, испанского, французского, немецкого, португальского, итальянского, русского, японского, корейского, вьетнамского, тайского и арабского языков. Также заявлена работа с контекстом до 256K токенов, однако подробные параметры этой поддержки в представленном фрагменте не приведены. Главные особенности квантизации — сохранение выходного слоя в Q6_K, маршрутизаторов экспертов в F32 и использование разных уровней точности для внимания и экспертных блоков. Это должно повышать стабильность синтаксиса, маршрутизации экспертов и рассуждений по сравнению с более агрессивными низкобитными вариантами, сохраняя умеренные требования к памяти и производительность на CPU. Ограничения связаны с потерями, неизбежными для квантизированной модели, потребностью примерно в 14 ГБ памяти для основной модели и тем, что это предыдущая, или legacy, версия MiniPlus. Для использования требуется совместимый рантайм GGUF, например llama.cpp. Лицензия — Apache-2.0.

Nex-N2.5-mini-NVFP4 — это квантизированная версия модели Nex-N2.5-mini от Nex-AGI, подготовленная primitive-ai. Модель предназначена для генерации текста, агентных сценариев и вызова инструментов. Она распространяется в формате NVFP4 и рассчитана на запуск через Transformers и vLLM на одной видеокарте NVIDIA с архитектурой Blackwell. Модель имеет разреженную MoE-архитектуру: маршрутизируемые эксперты во всех 40 слоях квантизированы до 4 бит, тогда как механизмы внимания, linear attention, общие эксперты, эмбеддинги и vision tower сохранены в BF16. Размер весов составляет 23,91 ГБ против 70,24 ГБ у версии BF16. Заявлена поддержка контекста до 32 768 токенов; на видеокарте с 96 ГБ памяти измерен KV-пул объёмом 2,74 млн токенов. Языки и точный перечень поддерживаемых модальностей в README не указаны, хотя наличие vision tower указывает на мультимодальную составляющую исходной модели. Сильными сторонами являются существенное уменьшение размера, высокая пропускная способность при параллельной нагрузке и отсутствие заметного ухудшения результатов на приведённых наборах тестов. На одной RTX PRO 6000 Blackwell модель показала 145 токенов/с при одном потоке и 1019 токенов/с при параллелизме 32, а также результаты 90,5 на наборе знаний и 77,0 на наборе вызова инструментов. Ограничения включают обязательную совместимость с Blackwell, зависимость производительности от уровня параллелизма и особенности шаблона чата: по умолчанию модель формирует пустой блок рассуждений. Доступно управление reasoning_effort со значениями low, medium и xhigh. Лицензия — Apache 2.0.

NV-Embed-v1 — англоязычная модель эмбеддингов от NVIDIA на базе decoder-only LLM Mistral-7B-v0.1. Она преобразует запросы и тексты в векторы размерностью 4096 для поиска и других задач сравнения и анализа текста. Модель использует pooling с latent attention и двухэтапную настройку инструкциями. В README сообщается о результатах на бенчмарке MTEB по 56 задачам, включая поиск, ранжирование, классификацию, кластеризацию и семантическое сходство; также указаны результаты AIR-Bench QA для английского языка и Long-Doc. Для доступа к репозиторию требуется аутентификация Hugging Face. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование. Она предназначена для получения эмбеддингов и поддерживает задачи извлечения признаков и сравнения предложений; в каталоге файлов указан формат safetensors.

NVIDIA-Nemotron-3-Ultra-550B-A55B-GGUF — GGUF-версия крупной языковой модели NVIDIA-Nemotron-3-Ultra-550B-A55B, подготовленная Unsloth на основе модели NVIDIA. Разработчик исходной модели — NVIDIA Corporation. Модель предназначена для сложного рассуждения, многошаговых агентных сценариев, использования инструментов, анализа длинного контекста, мультиязычного reasoning и высокоточного RAG в критически важных задачах. Режим рассуждения можно включать или отключать через параметр chat template enable_thinking=True/False. Модель содержит 550 млрд параметров, из которых 55 млрд активны. Она использует гибридную архитектуру LatentMoE, объединяющую Mamba-2, Mixture-of-Experts и attention, а также Multi-Token Prediction (MTP). Максимальная длина контекста заявлена до 1 млн токенов. Поддерживаются английский, французский, испанский, итальянский, немецкий, португальский, японский, корейский, хинди, арабский, китайский и иврит. Для развёртывания полной модели требуется значительная инфраструктура: минимум указаны 8 ускорителей GB200/B200/GB300/B300, 16 H100 или 8 H200. Сильными сторонами модели являются масштаб, поддержка длинного контекста, reasoning, агентные рабочие процессы, работа с инструментами и мультиязычность. Ограничениями выступают очень высокие требования к GPU и вычислительным ресурсам; конкретные характеристики производительности GGUF-квантования в README не приведены. Модель распространяется по лицензии OpenMDW License Agreement версии 1.1.

iambestfeed/phobert_retrieval — модель на базе RoBERTa, опубликованная в формате Sentence Transformers. Она преобразует предложения и абзацы в плотные векторы размерностью 768 и предназначена для семантического поиска, сравнения сходства текстов и кластеризации. В репозитории указано 162,4 млн параметров; модель принимает текст и выдаёт эмбеддинги. Контекст ограничен 258 токенами. Модель подходит для поиска текстов по смыслу и группировки похожих предложений или абзацев. Карточка не сообщает сведения о лицензии и не приводит результаты оценки, поэтому качество на конкретных данных следует проверять отдельно.

Это слитая методом passthrough модель семейства Qwen2.5, созданная с помощью mergekit на основе bunnycore/Qwen2.5-7B-Instruct-Fusion и bunnycore/Qwen2.5-7B-Exp2-lora_model. Модель имеет плотную архитектуру Qwen2ForCausalLM и содержит 7,1 млрд параметров; веса представлены в формате safetensors. Модель предназначена для генерации текста и диалогов. Метаданные указывают на поддержку интерфейса вызова инструментов. Нативная длина контекста составляет 131072 токена, что позволяет использовать модель для работы с длинными текстовыми запросами и документами. Основные сведения о назначении доступны, однако README не приводит результаты оценки качества или подробные рекомендации по применению. Лицензия в предоставленных данных не указана.

Qwen3-30B-A3B-Instruct-2507-GGUF — это GGUF-квантизированная версия языковой модели Qwen3-30B-A3B-Instruct-2507, разработанной Qwen и квантизированной компанией Second State Inc. Модель предназначена для генерации текста в формате text-generation и диалогового использования через шаблон chatml, включая работу как сервиса LlamaEdge. В README также указан prompt template для взаимодействия с системными и пользовательскими сообщениями. Модель имеет архитектуру Mixture-of-Experts, о чём свидетельствует обозначение 30B-A3B, однако подробные характеристики архитектуры и языков в README не приведены. Поддерживается контекст размером до 256 000 токенов. Доступны варианты GGUF с разной точностью квантизации от 2 до 8 бит, а также f16; размеры файлов составляют примерно от 3,28 до 16,4 ГБ. Варианты Q4_K_M, Q5_K_M и Q5_K_S обозначены как рекомендуемые, поскольку обеспечивают баланс между размером и потерей качества. Сильной стороной модели являются большой контекст и широкий выбор вариантов квантизации, позволяющий адаптировать требования к памяти и качеству. Ограничения связаны с потенциальной потерей качества при низкой точности квантизации; кроме того, версия LlamaEdge в README указана как находящаяся в разработке. Модель распространяется по лицензии Apache-2.0.

unsloth/Qwen3.5-4B — постобученная мультимодальная модель семейства Qwen3.5 от Unsloth, основанная на Qwen/Qwen3.5-4B. Это причинная языковая модель с визуальным энкодером, предназначенная для диалога, рассуждений, понимания изображений и работы с инструментами. Репозиторий содержит веса в формате Hugging Face Transformers и safetensors; модель совместима с Transformers и рядом серверов инференса. Модель имеет 4 млрд параметров и гибридную архитектуру с Gated Delta Networks и механизмом внимания. Нативная длина контекста составляет 262 144 токена с возможностью расширения до 1 010 000. В карточке заявлена поддержка 201 языка и диалекта. По умолчанию включён режим рассуждений, который можно отключить. Модель подходит для визуальных вопросов и ответов, мультиязычного диалога, задач с длинным контекстом и сценариев с вызовом инструментов. Лицензия — Apache-2.0. Производительность и пропускная способность зависят от используемого фреймворка и оборудования; для длинного контекста возможны высокие требования к памяти.

FadedRedStar/Qwen3.5-4B-heretic-GGUF — это квантованные GGUF-веса мультимодальной модели Qwen3.5-4B-heretic. Исходную модель разработала команда Qwen компании Alibaba, а квантованием занимался FadedRedStar. Модель основана на плотном трансформере Qwen3.5 с примерно 4 млрд параметров, встроенным vision-энкодером раннего слияния и поддержкой текстовых и графических входов. Заявлены контекстное окно до 262 144 токенов с возможностью расширения примерно до 1 млн токенов, поддержка 201 языка и диалекта, формата запросов ChatML и вызова инструментов. Модель предназначена для мультимодального рассуждения, генерации текста, программирования, работы с инструментами и агентских сценариев. Репозиторий содержит варианты Q4_K_M, Q5_K_M и Q8_0, а также отдельные vision-проекторы и файлы для speculative decoding; запуск мультимодального режима предполагает использование mmproj-файла, например через llama.cpp. Вариант Q4_K_M ориентирован на баланс размера и качества, Q5_K_M — на более высокую точность, а Q8_0 — на близкое к исходному качество при большем потреблении памяти. Суффикс heretic означает постобработку с помощью Heretic v1.2.0 и метода Multi-directional refusal suppression, выполненную автором исходной heretic-модели coder3101. Это снижает частоту отказов, однако заявленные метрики являются самотчётными и не подтверждены независимым тестированием; после такой модификации поведение и безопасность модели могут отличаться от оригинальной Qwen3.5-4B. Для 4- и 5-битных вариантов рекомендуется importance-matrix-калибровка, тогда как данный репозиторий особенно ориентирован на почти без потерь Q8_0. Модель распространяется по лицензии Apache-2.0.

Qwen3.5-9B VLM Q4_K_M GGUF — мультимодальная модель на базе Qwen/Qwen3.5-9B, представленная в формате GGUF и подготовленная пользователем jc-builds. Пакет включает квантованные веса основной модели и отдельный мультимодальный проектор mmproj, необходимый для обработки изображений через llama.cpp. Модель предназначена для анализа изображений и текста, визуального рассуждения, генерации описаний, ответов на вопросы по изображениям, а также для обычных текстовых задач. Заявлена поддержка 201 языка, включая английский, китайский, японский, корейский, русский, европейские, арабские и ряд языков Юго-Восточной Азии. Указана архитектура раннего объединения визуальных и текстовых данных, контекстное окно 262 144 токена с возможностью расширения более чем до 1 млн токенов, 9,6 млрд плотных параметров и словарь размером более 200 тысяч токенов. Основные веса используют 4-битную смешанную квантование Q4_K_M и занимают около 6 ГБ, а визуальный проектор хранится в FP16 и занимает около 918 МБ. Для полной мультимодальной инференции требуется примерно 7–8 ГБ RAM или VRAM. Сильные стороны модели — сочетание визуальных и текстовых возможностей, большой контекст, относительно компактный размер и возможность локального запуска, в том числе на устройствах iOS. Ограничения включают зависимость от поддержки mmproj в программном обеспечении: vision-режим доступен в llama.cpp и KoboldCpp, частично поддерживается в LM Studio и не поддерживается в Ollama согласно README. Квантованная версия может незначительно уступать FP16 по качеству. Лицензия — Apache-2.0.

Qwen3.6-27B-OBLITERATED — текстовая модель на базе Qwen/Qwen3.6-27B, изменённая разработчиком с помощью метода OBLITERATUS source-tethered ASPA. В карточке указано 26,9 млрд параметров; метаданные каталога сообщают 22,3 млрд. Доступны веса BF16 в safetensors и варианты GGUF с квантованием Q4_K_M, Q5_K_M, Q6_K и Q8_0. Модель рассчитана на локальную генерацию текста и диалог, включая программирование, выполнение инструкций и работу с заданными форматами; основное изменение направлено на снижение отказов при сохранении полезных возможностей исходной модели. Контекстное окно составляет 262 144 токена. Модель принимает текст и выдаёт текст; визуального энкодера нет. Разработчик сообщает о проверках отказов и сохранения возможностей, однако это результаты локальных оценок, а не официальные результаты бенчмарков. Для запуска подходят Transformers и современные локальные среды, включая llama.cpp; для GGUF рекомендуется начинать с Q4_K_M. Лицензия — Apache-2.0.

Qwen3.6-27B-Seven-GGUF — это GGUF-квантизированная версия модели nightmedia/Qwen3.6-27B-Seven, подготовленная mradermacher. Модель предназначена для генерации и понимания текста, диалогов, программирования, математических и STEM-задач, исследовательских сценариев, творческого письма и ролевого взаимодействия. Доступны варианты квантования от Q2_K до Q8_0, что позволяет выбирать баланс между размером файлов, скоростью работы и качеством; размер файлов составляет примерно от 11 до 29,1 ГБ. Заявлена поддержка английского, китайского, японского и испанского языков. Для мультимодального использования предоставляются отдельные компоненты mmproj в форматах Q8_0 и f16. README не содержит точных сведений об архитектуре, числе параметров базовой модели помимо обозначения 27B, фактическом размере контекстного окна и поддерживаемых типах входных данных, поэтому эти характеристики нельзя уточнить. Варианты Q4_K_S и Q4_K_M отмечены как быстрые и рекомендуемые, Q6_K — как обеспечивающий очень хорошее качество, а Q8_0 — как вариант с лучшим качеством среди перечисленных. Модель распространяется по лицензии Apache-2.0. К ограничениям относятся неизбежные компромиссы квантования: более компактные варианты могут уступать по качеству более крупным, а для мультимодальной работы требуется отдельный mmproj-файл. Указание долгого контекста в тегах README не подтверждено подробными техническими параметрами.

Карточка модели nwzjk/Qwen3.6-34B-80L-Fable-5-Heretic на Hugging Face совпадает с карточкой hiebo/Qwen3.6-34B-80L-Fable-5-Heretic, поэтому описание составлено по ней. Qwen3.6-34B-80L-Fable-5-Heretic — мультимодальная модель семейства Qwen от hiebo, дообученная на основе Qwen/Qwen3.6-27B. По карточке, модель расширена с 64 до 80 слоёв и примерно 34 млрд параметров, обучена методом дистилляции на 4 665 агентных трассах Fable-5 с применением QLoRA, а затем объединена с головами MTP для спекулятивного декодирования. Архитектура — Qwen3_5ForConditionalGeneration; заявлены чередование линейного и полного внимания, чат и работа с изображениями. Модель предназначена для диалоговых сценариев с рассуждениями и использованием инструментов, а также для задач, где нужно совместно обрабатывать текст и изображения. В README указаны запуск через Transformers и vLLM и максимальная длина контекста 256K; конфигурация запуска по умолчанию задаёт 4096 токенов. Карточка заявляет ускорение генерации с MTP, но приводит показатель принятия токенов и ускорение только для vLLM. Модель опубликована в формате safetensors; README описывает BF16-веса. Лицензия в предоставленных данных не указана.

Qwen3.8-27B-FP8-Pessoa — квантованный вариант мультимодальной модели Qwen3.8-27B, разработанной командой Qwen. Модель предназначена для обработки текста, изображений и видео, включая сценарии визуально-языкового анализа и генерации текста по мультимодальному вводу. Квантование выполнено с использованием llm-compressor; веса сохранены в формате compressed-tensors для непосредственного применения с vLLM. Лицензия — Apache-2.0. Языковая часть содержит около 27 млрд параметров, vision tower — 460,7 млн, а MTP-голова — 82,3 млн. Архитектура включает 64 слоя: 48 слоёв линейного внимания GatedDeltaNet и 16 слоёв полного внимания с GQA; нативный контекст составляет 262 144 токена. Поддерживается многоязычный ввод. Линейные, MLP- и полные attention-слои используют weight-only FP8 E4M3 W8A16 с BF16-активациями, GPTQ-коррекцией и поканальным масштабированием. Vision tower и MTP-голова оставлены в BF16, поэтому сохраняются возможности понимания изображений и видео, а также speculative decoding. Главные преимущества — уменьшенный до 31,24 ГБ размер чекпойнта против 55,6 ГБ у BF16-версии и низкая ошибка квантования. Компромисс заключается в более низкой скорости предварительной обработки по сравнению с W8A8 из-за деквантования перед GEMM, а также в высоких требованиях к памяти и ускорителям. Для работы рекомендуется vLLM 0.26.1rc0 с FlashInfer; заявлена поддержка NVIDIA Blackwell, Ampere и Hopper с поддержкой FP8 E4M3.

TaterTotterson/Qwen3.8-27B-GGUF-Tater-NoThink — это упаковка официальной модели Qwen3.8-27B в формате GGUF для работы с llama.cpp. Базовую модель разработала команда Qwen, а автор репозитория изменил только метаданные chat template, добавив режим Tater NoThink. Тензоры, квантизация, vision projector и MTP draft model не изменялись. Модель представляет собой плотную vision-language модель с 27 млрд параметров. Она предназначена для понимания текста, изображений и видео, поддерживает вызов инструментов, контекстное окно размером 262K токенов и Multi-Token Prediction (MTP) для speculative decoding. В комплект входят основная модель Q4_K_M, vision projector Q8_0 и MTP draft model Q8_0. Для использования мультимодальных возможностей требуется vision projector, а для speculative decoding — отдельная MTP-модель; эффективность ускорения зависит от аппаратного обеспечения, бэкенда, промпта и длины контекста. Главная особенность варианта NoThink — принудительное отключение режима рассуждений: генерация начинается с пустого блока <think></think> и сразу переходит к ответу, даже если клиент запрашивает thinking mode. Это может быть удобно для получения более прямых ответов и сокращения служебного вывода, но ограничивает использование явного режима рассуждений. Модель распространяется по лицензии Apache License 2.0.

lyf/Qwen3.8-27B-Heretic-ARA-NVFP4-MTP-VL — мультимодальная версия модели Qwen3.8-27B-Heretic-ARA, подготовленная lyf и распространяемая как квантизированный релиз на базе heretic-org/Qwen3.8-27B-heretic-ara. Модель предназначена для генерации текста, рассуждений, вызова инструментов, а также анализа изображений и видео через vision/video tower. Поддерживаются английский и китайский языки. Основные веса преобразованы в формат NVFP4 W4A4 с использованием compressed-tensors, при этом vision/video tower и 15 нативных BF16-тензоров MTP сохранены. MTP поддерживает speculative decoding с рекомендуемым числом спекулятивных токенов 3. Релиз ориентирован на запуск в vLLM с CUDA 13 на GPU Blackwell, в частности RTX 5090. Для текстового режима заявлена практическая длина контекста до 192K токенов и агрессивная конфигурация до 256K; мультимодальный режим требует существенно больше видеопамяти и обычно ограничивается диапазоном 32K–96K. Сильными сторонами являются сочетание низкой разрядности, мультимодальности, длинного контекста и ускорения генерации через MTP. Ограничения включают зависимость от совместимого стека vLLM/CUDA и GPU Blackwell, высокие требования к видеопамяти, рекомендованную однопоточную конфигурацию и необходимость самостоятельно проверять лимиты изображений, видео и кэша энкодера перед эксплуатацией. Модель распространяется по лицензии Apache-2.0.

t-firefly выпустил сборку Qwen3.8-27B для работы на ускорителе Rockchip RK1828 через LlamaPi. Это плотная мультимодальная модель генерации текста по текстовым и визуальным входам; исходную модель разработала команда Qwen. Она предназначена для диалога, анализа изображений и видео, программирования, профессиональных и исследовательских задач, а также многошаговых агентных сценариев. Модель принимает изображения и видео, включая документы и STEM-диаграммы; в исходной карточке заявлено понимание видео длительностью до часа. Режим рассуждения включён по умолчанию, его глубину можно настраивать. Репозиторий содержит GGUF и safetensors и помечен как совместимый с LlamaPi. Лицензия — Apache-2.0. Для запуска через LlamaPi требуется соответствующая среда на RK1828; практическое качество и поддержка конкретных входных форматов зависят от реализации.

Карточка модели jainam02/qwen3-8b-mh-st3-v3-merged на Hugging Face совпадает с карточкой Qwen/Qwen3-Embedding-8B, поэтому описание составлено по ней. Qwen3-Embedding-8B — текстовая модель эмбеддингов семейства Qwen3, разработанная командой Qwen. Это плотная архитектура Qwen3ForCausalLM с 7,6 млрд параметров, дообученная на базе Qwen/Qwen3-8B-Base для получения векторных представлений текста. Модель предназначена для семантического поиска и ранжирования, а также поддерживает классификацию, кластеризацию, поиск по коду и межъязыковой поиск. Модель поддерживает более 100 естественных и программных языков, обрабатывает длинные последовательности с контекстом до 40 960 токенов по метаданным и выдаёт эмбеддинги размерностью до 4096; README также сообщает о настройке выходной размерности от 32 до 4096. Можно задавать инструкции для конкретной задачи, языка или сценария. Модель рассчитана на получение векторов из текста; метаданные также отмечают возможности чата и интерфейс вызова инструментов, но основной сценарий этой версии — эмбеддинги. По данным карточки, версия 8B заняла первое место в мультиязычном рейтинге MTEB на 5 июня 2025 года с результатом 70,58. Для некоторых задач retrieval README отмечает снижение качества примерно на 1–5% без подходящей инструкции. Для работы с поддержкой Qwen3 требуется Transformers 4.51.0 или новее. Лицензия — Apache-2.0.

Cyronius/Qwen3.8-Flash-Next-131B-A6B-GGUF — это оптимизированная GGUF-версия Qwen3.8-Flash-Next, основанная на модели Qwen от Qwen и подготовленная автором Cyronius. Модель предназначена для генерации текста, рассуждений и агентских сценариев с вызовом инструментов через llama.cpp. Это текстовая сборка; отдельные vision-тензоры поставляются отдельно, а работа визуального контура после модификации не тестировалась. Модель использует MoE-архитектуру с 48 слоями и 512 экспертами, из которых активируются параметры объёмом около 6B на токен. Общее число параметров сокращено примерно с 176B до 131B за счёт уменьшения n-gram hash-embedding-таблицы с 51,2B до 6,4B параметров: сохранено по одной из восьми голов для каждого типа n-грамм. Основная сборка Q3_K_XL занимает 64,8 GB, также доступна версия Q4_0 размером 75,4 GB. Заявлена поддержка контекста до 256K токенов в исходной архитектуре, но поведение на длинном контексте для этой модификации не проверялось; опубликованные тесты проведены при контексте до 8K. По небольшому набору тестов сборка сохранила показатели базовой модели в tool calling, GSM8K и MMLU, однако perplexity на WikiText-2 ухудшилась с 2,40 до 4,66. Поэтому модель хорошо подходит для рассуждений, задач общего назначения и вызова инструментов, но может быть менее качественной в точном воспроизведении цитат, шаблонного текста и других сценариях, зависящих от поверхностного предсказания продолжений. Q4_0 структурно проверена, но отдельно не тестировалась. Для запуска требуется llama.cpp от 2026-08-27 или новее с поддержкой qwen4exp, а также значительный объём VRAM или оперативной памяти. Модель распространяется по лицензии qwen-community-1.0.

Myric/Qwen3.8-Flash-Next-APEX-GGUF — это GGUF-конверсия модели Qwen/Qwen3.8-Flash-Next, разработанной командой Qwen. Модель предназначена для генерации текста, мультимодального анализа изображений и агентного программирования с использованием llama.cpp. В комплект входят основной файл MIDDLE для инференса, BF16-файл как источник для квантования и отдельный vision projector для работы с изображениями. Архитектура представляет собой мультимодальную MoE-модель общим размером около 180 млрд параметров и примерно 6,8 млрд активных параметров. Она содержит 48 слоёв, 512 маршрутизируемых экспертов с выбором top-10, гибридную архитектуру gated-delta-net с полноценным attention в каждом четвёртом слое, разреженное QSA-внимание и n-gram embeddings на уровне слоёв. Заявленный контекст составляет до 262 144 токенов. Поддержка языков в README не указана. Сильные стороны модели — большой контекст, мультимодальные возможности, эффективная MoE-архитектура и хорошие результаты в описанном тесте агентного программирования: 9 из 9 задач и 154 из 154 тестов. Ограничения включают высокие требования к памяти: для MIDDLE требуется около 85,4 GiB под веса, а также дополнительная память под KV-кэш и вычислительные буферы. Для llama.cpp рекомендуется использовать f16 KV-кэш и один параллельный слот; q8_0 KV может приводить к сбоям или некорректным результатам. Параметр reasoning effort high не поддерживается, допустимы xhigh, medium и low. Для работы с изображениями требуется vision projector. Модель распространяется по лицензии Apache-2.0. Для запуска опубликованных файлов необходима актуальная версия llama.cpp с поддержкой qwen4exp; самостоятельная конвертация требует специальной ветки конвертера, поскольку соответствующее исправление ещё не включено upstream.

JANGQ-AI подготовила JANG_4S — квантованный 4-битный вариант Qwen/Qwen3.8-Flash-Next для запуска на компьютерах Apple Silicon через MLX и vMLX. В основе лежит экспериментальная архитектура Qwen4: разреженная MoE-модель на 125 млрд параметров с 6 млрд активных, большой хешированной n-граммной таблицей эмбеддингов, гибридными слоями Gated DeltaNet и Qwen Sparse Attention, а также башнями для обработки изображений и видео. В этой сборке сохранена голова многотокенного предсказания; таблица эмбеддингов может обслуживаться с SSD при поддержке рантайма. Модель предназначена для диалога, рассуждений, анализа изображений и видео и агентных сценариев с вызовом инструментов. Она принимает текст, изображения и видео, а контекст составляет 262 144 токена с возможностью расширения до 1 млн через YaRN. По заявлению карточки, квантование оценивали сравнением с bf16 на 5 931 отложенной позиции; качество выражено метриками KL и совпадения предсказаний. Для работы требуются значительные ресурсы: файлы занимают около 71,8 ГиБ, заявленный резидентный объём при обслуживании таблицы с SSD — около 53 ГиБ. Вызовы инструментов используют диалект Qwen XML, поэтому рантайм должен поддерживать соответствующий парсер; карточка предупреждает о несовместимости с Hermes-only парсерами. Лицензия указана как other, её конкретные условия в предоставленных данных не раскрыты.

Это преобразованный в формат MLX BF16 чекпойнт Qwen3-Embedding-0.6B, опубликованный TiGa-RCE на Hugging Face. Он предназначен для создания текстовых эмбеддингов и семантического поиска; рассчитан на запуск на Apple Silicon через MLX или oMLX. Модель содержит около 507,6 млн параметров и поддерживает контекст до 32 768 токенов. В локальном тесте извлечения информации чекпойнт верно ранжировал 24 из 24 пар запросов и документов, совпав по векторам с семейным эталоном BF16 при указанной схеме пулинга и нормализации. Это ограниченная инженерная проверка, а не результат MTEB и не гарантия качества на других данных. Репозиторий распространяется по лицензии Apache-2.0.

Qwen3-Embedding-4B-4bit-DWQ — модель для создания векторных представлений текста, разработанная сообществом mlx-community на основе Qwen/Qwen3-Embedding-4B от Qwen. Она предназначена для задач семантического сравнения текстов, поиска по смыслу, кластеризации, извлечения признаков и других сценариев, где требуется преобразовать текст в embedding-векторы. Модель конвертирована в формат MLX с использованием mlx-lm версии 0.24.0. Модель имеет размер базовой версии 4B параметров и использует 4-битное квантование DWQ, что ориентировано на более экономичное выполнение на совместимом оборудовании Apple через MLX. В README не указаны поддерживаемые языки, максимальная длина контекста, дополнительные модальности и точные характеристики качества. Лицензия — Apache-2.0. Для работы требуется библиотека mlx-lm; сведения о совместимости с другими фреймворками и ограничениях применения в карточке не приведены.