I.3Извлечение и структурирование данных

Intern-S2-Preview-397B — мультимодальная модель общего назначения, разработанная командой InternLM. Она предназначена для рассуждений, научных задач и продолжительных агентных сценариев. Модель обучали на визуальных представлениях страниц научной литературы, задачах с подкреплением из более чем 20 научных областей и интерактивных агентных средах. В карточке указано 397B в названии; архитектура обозначена как плотная, класс — InternS2PreviewForConditionalGeneration. Модель принимает текст и изображения, поддерживает диалог, вызов инструментов и режим рассуждения, включённый по умолчанию. README также описывает анализ временных рядов, включая обнаружение сейсмических событий и прогнозирование; для такого ввода указана поддержка только в LMDeploy. В текстовых тестах использовалась длина инференса до 256K токенов, а в мультимодальных — до 64K. Предлагаются LMDeploy, vLLM и SGLang для развёртывания. Языки модели в предоставленных данных не обозначены. Лицензия — Apache-2.0.

Jimi — дообученная версия instruction-tuned модели Google DeepMind gemma-4-E4B-it, разработанная автором или командой leeroy-jankins. Модель создана с помощью supervised instruction tuning на данных для вопросов и ответов, суммаризации, рассуждений, синтеза кода и понимания документов. В обучении использовались, в частности, FineTome-100k и наборы данных по финансовому и бюджетному регулированию США. Модель предназначена для retrieval-augmented generation (RAG), ассистентов с поддержкой инструкций и многошагового диалога, открытых вопросов и ответов, генерации и суммаризации текста, а также анализа юридических и финансовых документов. Она также может использоваться как компактная базовая модель для дальнейшей специализации. Заявлены улучшенная работа с контекстом, следование инструкциям, предметное рассуждение и поддержка связных многоходовых разговоров. Jimi относится к классу моделей примерно на 4B параметров; для базовой Gemma 4 E4B указаны 4,5B эффективных параметров, 42 слоя, скользящее окно внимания 512 токенов и контекст до 128K токенов. Архитектура Gemma 4 использует гибридное внимание с локальными и глобальными слоями. Для базовой модели заявлены обработка текста и изображений, а также аудио для малых вариантов Gemma 4, однако README не уточняет, какие мультимодальные возможности непосредственно сохранены и проверены именно в Jimi. В метаданных указан английский язык. К сильным сторонам относятся компактный размер, потенциально быстрая работа на пользовательских GPU, пригодность для RAG и задач с финансово-бюджетной документацией. Ограничения включают отсутствие подробных результатов бенчмарков и количественной оценки качества, а также недостаток информации о фактических поддерживаемых модальностях и языках самой Jimi. Модель распространяется по лицензии MIT.

Ling-3.0-flash-VL GGUF — GGUF-конверсия мультимодальной модели inclusionAI/Ling-3.0-flash-VL, подготовленная bloomer010 для запуска через llama.cpp. Это Mixture-of-Experts-модель с 124 млрд общих параметров и примерно 5,5 млрд активируемых параметров на токен. Она поддерживает текстовые, графические и видео-входы и предназначена для мультимодального понимания, рассуждений, выполнения агентских задач и проверки результатов. Заявлено контекстное окно до 256K токенов, однако в README отдельно указана поддержка до 128K, поэтому фактический предел зависит от используемой сборки и конфигурации. Для обработки изображений требуется отдельный файл mmproj-model-f16.gguf размером около 875 МБ; текстовый чат может работать без него. Модель рассчитана на использование с llama.cpp, но пока требует сборки с ещё не объединённым PR для архитектуры bailingmoe3vl и визуального проектора Ling VL. Доступны различные варианты квантования от BF16 до Q3_K_M, что позволяет адаптировать требования к памяти, но уменьшение размера может снижать точность и стабильность ответов. Поддерживаются режим рассуждений и ускорение speculative decoding через DSpark, хотя выигрыш в скорости зависит от оборудования и сценария. Лицензия — MIT.

LLaMA-2-7B-32K — языковая модель с длинным контекстом, разработанная Together и дообученная на основе Meta Llama 2 7B. Это плотная авторегрессионная модель семейства Llama, содержащая 6,6 млрд параметров и поддерживающая контекст до 32 768 токенов благодаря интерполяции позиционных представлений. Для обучения использовались смеси данных RedPajama, The Pile, UL2 Oscar и наборов для instruction tuning. Модель предназначена для генерации текста с большим объёмом входного контекста: ответов на вопросы по нескольким документам, суммаризации длинных текстов и работы с примерами в контексте. README описывает англоязычные данные и сценарии; метаданные также указывают английский язык. Модель доступна в формате PyTorch через Transformers и подходит для дальнейшей адаптации под конкретные задачи. Модель может выдавать неверную или предвзятую информацию. Лицензия — Llama 2; условия использования определяются лицензией Meta Llama 2.

vikash06/llama-2-7b-small-model-new — дообученная на небольшой выборке модель семейства Llama 2, опубликованная автором vikash06. Она предназначена для генерации текста и прямого использования в задачах творческого письма, ответов на вопросы по предоставленному отрывку и общих знаний, суммаризации, извлечения информации и классификации. Модель имеет плотную архитектуру LlamaForCausalLM и содержит 6,6 млрд параметров; максимальный контекст — 4096 токенов. Автор описывает обучение на экспериментальной основе для изучения эффекта более длительного обучения на небольшом наборе данных. В README указаны 1000 примеров для каждой категории и результаты оценки на бенчмарках HellaSwag и AI2 Reasoning Challenge. Это экспериментальная модель; результаты бенчмарков не гарантируют качество в иных сценариях. Репозиторий содержит веса Safetensors, лицензия — MIT.

Llama-3.3-70B-Instruct-abliterated-GGUF — квантизированная GGUF-версия инструкционной языковой модели Llama 3.3 с заявленным размером 70 млрд параметров. Модель подготовлена и опубликована bartowski, а исходная модель разработана Meta. Она предназначена для генерации текста и выполнения инструкций в диалоговых и прикладных сценариях, включая ответы на вопросы, написание и преобразование текста, а также другие задачи обработки естественного языка. В метаданных указаны языки английский, французский, итальянский, португальский, хинди, испанский, тайский и немецкий. Модель работает только с текстом; сведения о поддерживаемых модальностях, архитектуре в деталях и размере контекста в предоставленных данных отсутствуют. Формат GGUF ориентирован на локальный запуск в совместимом программном обеспечении, а квантизация может снизить требования к памяти по сравнению с полной версией, но конкретный вариант квантизации в README не указан. Суффикс «abliterated» указывает на модифицированную версию, однако подробности изменений, их влияние на качество и безопасность, а также результаты тестирования не приведены. Поэтому характеристики точности, устойчивости и ограничения модели следует проверять отдельно. Распространение и использование основаны на Llama 3.3 Community License от Meta с требованиями по соблюдению Acceptable Use Policy, включению текста лицензии и атрибуции «Built with Llama» при распространении материалов или производных продуктов; для организаций с более чем 700 миллионами ежемесячных пользователей предусмотрено отдельное лицензионное условие.

llm-jp-3-8x13b-instruct2 — диалоговая языковая модель, разработанная Центром исследований и разработок больших языковых моделей Национального института информатики Японии. Это трансформерная модель семейства Mixtral с архитектурой Mixture of Experts: 8 экспертов, из которых активируются 2. Вариант содержит около 73,2 млрд параметров всего и около 22,2 млрд активируемых параметров; метаданные каталога указывают 13,2 млрд параметров. Контекст — 4096 токенов. Модель обучена на смеси данных, включая японские, и дообучена на инструкциях с последующим выравниванием методом Direct Preference Optimization. Модель предназначена для диалога и генерации текста, особенно на японском и английском языках. Её можно использовать для ответов на вопросы, следования инструкциям, краткого изложения и других текстовых задач. Карточка приводит оценки на японских тестах, но результаты относятся к отдельным оценочным выборкам и не гарантируют качество в конкретном приложении. Разработчики предупреждают, что модель находится на ранней стадии разработки и не настроена для гарантированного соответствия человеческим намерениям и требованиям безопасности. Лицензия — Apache-2.0.

Это GGUF-квантизированная версия языковой модели Magistral-Small-2506, разработанной Mistral AI и подготовленной для распространения пользователем bartowski. Модель предназначена для генерации текста и локального запуска через llama.cpp, LM Studio и другие совместимые проекты на базе llama.cpp. Карточка указывает поддержку английского, французского, немецкого, испанского, португальского, итальянского, японского, корейского, русского, китайского, арабского, персидского и ряда других языков. Доступны варианты от BF16 до различных уровней квантизации, с размером файлов примерно от 10,65 до 47,15 ГБ. Для запуска предусмотрен специальный формат промпта с системной инструкцией и пользовательским запросом. Архитектура, число параметров, размер контекстного окна и мультимодальные возможности в README не указаны. Основное преимущество набора — возможность выбрать компромисс между качеством и требованиями к памяти: варианты Q5 и Q6 заявлены как высококачественные, а Q4 подходят для большинства сценариев и экономят ресурсы. Более компактные варианты позволяют работать при ограниченном объёме оперативной памяти, но могут заметно уступать по качеству. Модель предназначена для текстовых задач; поддержка изображений или других модальностей не заявлена. Распространяется по лицензии Apache-2.0.

Квантизированная версия Ministral-3-3B-Reasoning-2512, разработанной Mistral AI, подготовленная bartowski в формате GGUF для запуска через llama.cpp и совместимые приложения, включая LM Studio. Модель предназначена для задач генерации и анализа текста, а также сценариев image-text-to-text, однако подробные сведения о поддерживаемой обработке изображений в README не приведены. Заявлены языки: английский, французский, испанский, немецкий, итальянский, португальский, нидерландский, китайский, японский, корейский и арабский. Модель имеет размер 3B параметров; доступны варианты от BF16 до квантизаций Q8_0, Q6, Q5, Q4, Q3 и IQ4 с размером файлов примерно от 1,93 до 6,87 ГБ. Квантизация выполнена с использованием imatrix и llama.cpp, что позволяет выбирать между качеством, потреблением памяти и скоростью локального запуска. Конкретная архитектура, размер контекстного окна, требования к оборудованию и формат промптов в README не указаны; для исходной модели рекомендуется обращаться к её оригинальной странице. Распространение заявлено по лицензии Apache-2.0.

facebook/mms-1b-fl102 — мног multilingual-модель автоматического распознавания речи из проекта Massively Multilingual Speech компании Facebook (Meta), разработанная Vineel Pratap и соавторами. Это дообученный на наборе Fleurs чекпойнт семейства Wav2Vec2 с CTC-архитектурой и адаптерами, содержащий около 1,3 млрд параметров по метаданным. Модель принимает аудио с частотой дискретизации 16 кГц и преобразует речь в текст; заявлена поддержка 102 языков. Модель подходит для транскрибации записей и распознавания речи на множестве языков, в том числе при создании многоязычных речевых сервисов. Карточка указывает лицензию CC-BY-NC 4.0, которая ограничивает коммерческое использование. Возможны ошибки распознавания, особенно для условий и языков, не представленных в обучающих данных; метаданные перечисляют лишь часть языкового покрытия.

maxHPI90/multilingual-e5-base-iscedf-01 — дообученная командой maxHPI90 модель Sentence Transformer на базе isy-thl/multilingual-e5-base-learning-outcome-skill-tuned. Она преобразует предложения и абзацы в плотные векторы размерностью 768 для семантического поиска и оценки сходства, в том числе сопоставления описаний курсов с классификацией ISCED-F. Также модель подходит для поиска перефразировок, кластеризации и классификации текстов. Архитектура основана на XLM-RoBERTa с усреднением токенных представлений и нормализацией векторов; сходство можно оценивать косинусной метрикой. Максимальная длина последовательности — 512 токенов. В README приведены результаты поиска по датасету ISCED-F: точность cosine_accuracy@1 — 0,6824, @3 — 0,8471, @5 — 0,9059. Лицензия в предоставленных данных не указана.

Это англоязычный многовекторный текстовый энкодер на архитектуре ModernBERT, разработанный tomaarsen и дообученный на answerdotai/ModernBERT-base с использованием Sentence Transformers. Модель предназначена для семантического поиска и извлечения информации: она кодирует каждый текст в последовательность 128-мерных векторов токенов, а релевантность запроса и документа оценивает методом позднего взаимодействия MaxSim. Модель принимает текст, поддерживает последовательности длиной до 8192 токенов и обучалась на 50 000 примерах MS MARCO с запросами, релевантными и нерелевантными документами. В карточке приведены результаты оценки на наборах NanoMSMARCO и NanoBEIR. Лицензия — Apache-2.0.

Mursit-Embed-Qwen3-1.7B-TR-i1-GGUF — это квантизированная в формате GGUF версия модели Mursit-Embed-Qwen3-1.7B-TR, разработанной newmindai и подготовленной квантизатором mradermacher. Модель создана на базе Qwen3 с адаптацией decoder-to-encoder и предназначена для получения текстовых эмбеддингов. Основные сценарии применения — вычисление семантического сходства, dense retrieval, информационный поиск и извлечение признаков, включая задачи на турецком языке и поиск по юридическим документам. При обучении использовались наборы newmindai/ms-marco-turkish-triplets и newmindai/EuroHPC-Legal. Заявлены языки tr и en; модель ориентирована прежде всего на турецкие и турецко-юридические тексты. Доступен набор квантизаций с размерами примерно от 0,6 до 1,5 ГБ. В README рекомендуется i1-Q4_K_M как быстрый вариант, а i1-Q4_K_S описывается как оптимальный баланс размера, скорости и качества; некоторые низкобитные варианты имеют пониженное качество. Размер исходной модели указан как 1,7B параметров, но сведения о размерности эмбеддингов, максимальной длине контекста, точных характеристиках архитектуры и результатах оценки отсутствуют. Лицензия — Apache-2.0.

6block/Nex-N2.5-Pro-GGUF — это GGUF-квантизации мультимодальной модели Nex-N2.5-Pro, разработанной nex-agi и преобразованной в формат GGUF с помощью llama.cpp командой 6block. Модель предназначена для генерации и анализа текста, а также для задач понимания изображений при использовании отдельного vision-проектора mmproj. Заявлены поддерживаемые языки английский и китайский. Модель имеет 397 млрд параметров, 60 слоёв в гибридной архитектуре: 45 слоёв Gated DeltaNet с линейным вниманием и 15 полноценных attention-слоёв с GQA. Это MoE-модель: каждый токен направляется к 10 из 512 экспертов и общему эксперту. Контекст составляет 262 144 токена, словарь — 248 320 токенов. Vision-энкодер содержит 27 слоёв, принимает изображения размером до 768 пикселей и использует патчи 16 пикселей. Поддерживаются адаптивный режим рассуждений и его отключение. Доступны варианты IQ4_XS, Q2_K и IQ2_XS размером примерно 200,1, 138,9 и 113,2 ГиБ соответственно, каждый в 19 сегментах. IQ4_XS наиболее близок к исходной BF16-версии по заявленным метрикам, Q2_K позиционируется как сбалансированный вариант для CPU, а IQ2_XS предназначен для систем с жёсткими ограничениями по памяти. Основные ограничения — очень большой размер, необходимость загрузить все сегменты, наличие совместимой сборки llama.cpp с поддержкой Qwen3.5-MoE и отдельного vision-проектора для работы с изображениями. Для изображений рекомендуется выделять не менее 1024 image tokens. Модель распространяется по лицензии Apache-2.0. Для запуска требуется llama.cpp; параметры и возможности использования изображений зависят от соответствующих инструментов и шаблона чата модели.

ENOSYS/Octen-Embedding-8B-750-v1-GGUF — квантизированная версия модели Octen/Octen-Embedding-8B в формате GGUF, подготовленная с использованием калибровочных данных на английском и русском языках. Репозиторий описывает экспериментальную квантизацию с настройками global target bits-per-weight и патчами для ответвления LLaMA C++; тензоры сохранены в F16 для совместимости с архитектурой Nvidia Pascal. Модель предназначена для получения текстовых эмбеддингов, оценки семантического сходства и извлечения информации, в том числе в сценариях семантического поиска. Она основана на мультиязычной модели Octen на базе Qwen3 и распространяется по лицензии Apache-2.0. В README приведены метрики сравнения вариантов квантизации, но они показывают существенное ухудшение perplexity относительно исходного качества и не подтверждают пригодность каждого варианта для конкретного сценария. Для использования могут потребоваться совместимые инструменты и ветка LLaMA C++.

PM-AI разработала эту модель для получения эмбеддингов предложений на немецком и английском языках. Это плотная модель семейства XLM-RoBERTa на базе xlm-roberta-base, обученная методом дистилляции с учительской моделью sentence-transformers/paraphrase-distilroberta-base-v2. В карточке указано, что при обучении использовались параллельные немецко-английские данные и 83,3 млн обучающих примеров. Модель предназначена для поиска семантически похожих предложений и фрагментов текста, парафразирования через сравнение эмбеддингов, семантического поиска и извлечения документов. Она принимает текст и выдаёт векторные представления; контекст составляет до 514 токенов. Модель содержит 305,2 млн параметров и распространяется в форматах PyTorch и Safetensors. Лицензия — MIT. Разработчик отмечает внутреннее и тестовое назначение модели; качество на конкретных задачах и доменах может отличаться, а карточка не приводит результатов оценки.

Модель SentenceTransformer, дообученная автором репозитория на наборе sentence-transformers/quora-duplicates для сравнения пар предложений. Она использует архитектуру BERT и преобразует текст в плотные векторы размерности 384; сходство векторов можно оценивать косинусной мерой. Модель подходит для поиска семантически близких формулировок, обнаружения перефразирований и дубликатов, кластеризации и классификации текста. В карточке указана поддержка английского языка. Базовая многоязычная модель рассчитана на контекст до 512 токенов, однако README этой версии задаёт максимальную длину последовательности 128 токенов. Модель содержит 124,3 млн параметров и распространяется в формате Safetensors. Лицензия в предоставленных данных не указана.

Многоязычная модель Sentence Transformer, дообученная legalvn на базе sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2. Архитектура основана на BERT: она кодирует предложения и абзацы в плотные векторы размерностью 384 и сопоставляет их косинусным сходством. В метаданных указано 124,3 млн параметров и контекст 512 токенов; карточка README задаёт максимальную длину последовательности 128 токенов. Модель предназначена для поиска семантически близких текстов и сравнения сходства предложений. Её можно использовать для семантического поиска, поиска перефразировок, кластеризации и классификации текстов. Примеры обучающих данных включают вьетнамские вопросы и фрагменты документов, в том числе правовую тематику; это указывает на настройку под вьетнамские запросы и корпусные тексты. Модель выдаёт текстовые эмбеддинги, а не готовые ответы. Для оценки сходства применяется косинусная мера. Лицензия в предоставленных данных не указана.

Карточка модели Silin1590/Qwen-0d5B-Int-AbstraL-v2 на Hugging Face совпадает с карточкой Qwen/Qwen2.5-0.5B-Instruct, поэтому описание составлено по ней. Qwen/Qwen2.5-0.5B-Instruct — компактная инструктивно настроенная языковая модель семейства Qwen2.5, разработанная командой Qwen. Она предназначена для диалогов, выполнения инструкций и генерации текста, включая длинные ответы, структурированные данные и JSON; также может применяться для простых задач по коду и математике. Модель построена на архитектуре Qwen2 с причинным языковым моделированием и содержит 494 млн параметров. В карточке указаны 24 слоя, RoPE, SwiGLU, RMSNorm и группированное внимание; контекст — 32 768 токенов, генерация — до 8 192 токенов. Модель работает с текстом, поддерживает чат и интерфейс вызова инструментов. Семейство Qwen2.5 заявляет поддержку более 29 языков, включая русский и английский. Небольшой размер упрощает запуск по сравнению с крупными языковыми моделями, но ограничивает сложность задач, которые она может надёжно решать. Модель распространяется по лицензии Apache-2.0; для загрузки через Transformers рекомендуется актуальная версия библиотеки.

Карточка модели Gaery0611/Qwen2.5-0.5B-Instruct на Hugging Face совпадает с карточкой Qwen/Qwen2.5-0.5B-Instruct, поэтому описание составлено по ней. Qwen/Qwen2.5-0.5B-Instruct — компактная инструктивно настроенная языковая модель семейства Qwen2.5, разработанная командой Qwen. Она предназначена для диалогов, выполнения инструкций и генерации текста, включая длинные ответы, структурированные данные и JSON; также может применяться для простых задач по коду и математике. Модель построена на архитектуре Qwen2 с причинным языковым моделированием и содержит 494 млн параметров. В карточке указаны 24 слоя, RoPE, SwiGLU, RMSNorm и группированное внимание; контекст — 32 768 токенов, генерация — до 8 192 токенов. Модель работает с текстом, поддерживает чат и интерфейс вызова инструментов. Семейство Qwen2.5 заявляет поддержку более 29 языков, включая русский и английский. Небольшой размер упрощает запуск по сравнению с крупными языковыми моделями, но ограничивает сложность задач, которые она может надёжно решать. Модель распространяется по лицензии Apache-2.0; для загрузки через Transformers рекомендуется актуальная версия библиотеки.

LinkRur/Qwen_3.5_4B_Fix — исправленная версия мультимодальной модели Qwen3.5, опубликованная в формате Transformers. Это причинная языковая модель с визуальным энкодером; в карточке указано около 4 млрд параметров, а метаданные фиксируют 3,4 млрд. Веса основаны на Qwen/Qwen3.5-4B-Base и лицензированы по Apache-2.0. Модель предназначена для диалогов, генерации и анализа текста, а также понимания изображений. Она поддерживает контекст до 262 144 токенов, расширяемый, согласно README, до 1 010 000, и широкое многоязычное покрытие: заявлены 201 язык и диалект. В README описана коррекция весов проекций ключей в восьми слоях полного внимания, призванная устранить бесконечные циклы повторения; остальные веса, по заявлению автора, не менялись. Модель подходит для мультимодальных ассистентов, вопросов по изображениям и задач с длинным контекстом. README сообщает о режиме рассуждений по умолчанию и возможностях вызова инструментов. При этом заявленные улучшения основаны на описании автора, а независимые результаты проверки исправления и подробные ограничения качества в доступных данных не приведены.

Qwen3.5-9B-NVFP4 — это квантованная версия мультимодальной vision-language модели Qwen3.5-9B, опубликованная sanskar003 на базе модели команды Qwen из Alibaba Group. Она принимает изображения, текст и видео в чередующемся формате и генерирует текст, включая режим рассуждений, включённый по умолчанию. Модель содержит около 9 млрд параметров и использует гибридную архитектуру Gated DeltaNet и sparse MoE с vision encoder. Базовая модель поддерживает 201 язык и диалект, а её нативная длина контекста составляет 262 144 токена с возможностью расширения посредством RoPE scaling. Квантование выполнено в формате NVFP4 с использованием compressed-tensors: линейные слои языковой модели переведены в 4-битный формат, тогда как vision tower, router gates и lm_head сохранены в более высокой точности. Основное преимущество версии NVFP4 — снижение требований к вычислениям и потенциально высокая производительность на GPU NVIDIA Blackwell с FP4 tensor cores, например RTX 5090 с архитектурой sm_120, при сохранении возможностей работы с изображениями. Для запуска рекомендуется современная версия vLLM с поддержкой архитектуры Qwen3_5ForConditionalGeneration. Ограничение модели заключается в том, что ожидаемая производительность NVFP4 ориентирована на совместимое оборудование NVIDIA Blackwell; характеристики качества и подробные результаты тестирования в карточке этой версии не приведены. Модель распространяется по лицензии Apache 2.0, унаследованной от базовой Qwen3.5-9B.

Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-MTP-GGUF — это GGUF-квантизация базовой модели Qwen/Qwen3.8-27B, выпущенная HauhauCS. Модель предназначена для генерации текста, рассуждений, агентских сценариев, обработки изображений и видео. Вариант Aggressive ориентирован на прямые ответы, минимальное вступление и отсутствие отказного поведения, поэтому подходит для задач, где требуется максимально свободная генерация. Модель представляет собой плотную causal language model на 27 млрд параметров с vision encoder. Архитектура включает 64 слоя языковой модели, скрытый размер 5120, размер FFN 17408, словарь из 248 320 токенов, 48 слоёв Gated DeltaNet и 16 слоёв gated attention. Сохраняется встроенный механизм MTP/NextN, дополненный профилем ускорения HauhauCS FastMTP 32K. Заявлен нативный контекст 262 144 токена с возможностью расширения до 1 000 000 токенов. Поддерживаются английский, китайский и другие языки. Для изображений и видео требуется отдельный BF16 vision projector. Сильными сторонами являются большой контекст, поддержка текста, рассуждений, агентских задач и мультимодального ввода, а также варианты квантизации от Q2 до Q8 для разного соотношения качества и требований к памяти. Aggressive-профиль может быть менее безопасным и менее подходящим для надёжных длинноконтекстных агентских сценариев, где рекомендуется более сбалансированная версия. Квантизация также может влиять на качество, а FastMTP и vision projector распространяются отдельными файлами. Модель и указанные компоненты распространяются по лицензии Apache-2.0.

Hagwell/Qwen3.8-Flash-Next-GGUF — GGUF-версия экспериментальной мультимодальной модели Qwen3.8-Flash-Next, разработанной командой Qwen; репозиторий Hagwell распространяет модель в формате, предназначенном для локального запуска. Модель основана на архитектуре, которая заявлена как фундамент для будущего Qwen4, и поддерживает обработку текста и изображений благодаря языковой модели с vision encoder. Модель предназначена для генерации и понимания текста, работы с изображениями, задач с длинным контекстом и агентных сценариев. Она имеет 125 млрд параметров, из которых активируется около 6 млрд, а также включает 51 млрд параметров n-gram embedding и 4 млрд параметров MTP. Архитектура содержит 48 слоёв, комбинацию Gated DeltaNet и Qwen Sparse Attention, MoE с 512 экспертами, из которых маршрутизируются 10 экспертов и один общий, а также механизмы Gated Residual и n-gram embedding. Нативная длина контекста составляет 262 144 токена и может быть расширена до 1 000 000 токенов. К сильным сторонам относятся высокая эффективность активации параметров, поддержка длинного контекста, оптимизация sparse attention на уровне блоков и возможность локального запуска через llama.cpp или Unsloth Desktop. Ограничения включают экспериментальный статус архитектуры, высокие требования к памяти для полной модели, а также отсутствие в предоставленных данных сведений о поддерживаемых языках, подробных результатах тестирования и качестве на конкретных прикладных задачах. Модель распространяется по лицензии qwen-community-1.0; для использования следует ознакомиться с файлом LICENSE.

SZYBKIMARCIN955/Qwen3.8-Flash-Next-GGUF — GGUF-версия экспериментальной модели Qwen3.8-Flash-Next, разработанной командой Qwen. Модель представляет собой авторегрессионную языковую модель с vision encoder, предназначенную для текстовых и визуально-текстовых задач, включая работу с длинным контекстом и агентские сценарии. Это открытая предварительная версия архитектуры, которая должна стать основой Qwen4. Архитектура сочетает Gated DeltaNet и Qwen Sparse Attention на уровне микроблоков, Mixture of Experts, Gated Residual и n-граммные embeddings. Всего заявлено 125B параметров, из которых 6B активируются при обработке, дополнительно используются 51B параметров n-граммных embeddings и 4B для multi-token prediction. Модель содержит 48 слоёв, 512 экспертов, активирует 10 маршрутизируемых и 1 общий эксперт, поддерживает контекст 262 144 токена с возможностью расширения до 1 000 000 токенов. Языки в README не указаны. Ключевые преимущества модели — высокая эффективность при длинном контексте, сниженная задержка благодаря разреженному вниманию и относительно небольшое число активируемых параметров при большом общем размере. Ограничения связаны с экспериментальным статусом архитектуры, высокими требованиями к памяти и вычислительным ресурсам, а также отсутствием в предоставленных данных подробных результатов тестирования и описания поддерживаемых языков. Для запуска рекомендуется llama.cpp или Unsloth Desktop. Модель распространяется по лицензии qwen-community-1.0; формат GGUF предназначен для локального инференса совместимыми инструментами.

Inferact/Qwen3.8-Flash-Next-NVFP4 — экспериментальная открытая модель семейства Qwen, разработанная командой Qwen. Это причинная языковая модель с энкодером зрения, предназначенная для текстовых и мультимодальных задач, включая обработку изображений, работу с длинным контекстом и агентские сценарии. Артефакты представлены в формате Hugging Face Transformers и совместимы с Transformers, vLLM, SGLang и другими средами инференса. Модель содержит 125 млрд параметров, из которых около 6 млрд активируются при обработке, а также 51 млрд параметров n-граммных эмбеддингов и 4 млрд параметров MTP. Архитектура включает 48 слоёв, комбинацию Gated DeltaNet и Qwen Sparse Attention, Mixture of Experts с 512 экспертами и механизм Gated Residual. Нативная длина контекста составляет 262 144 токена, с возможностью расширения до 1 млн токенов. В README языки обучения или поддержки не указаны. К сильным сторонам относятся эффективная обработка длинного контекста, разреженное внимание на уровне блоков, экономичное масштабирование параметров за счёт n-граммных эмбеддингов и потенциальная пригодность для инференса на ресурсно-ограниченных ускорителях. Модель обозначена как экспериментальный preview, поэтому её стабильность, качество в отдельных задачах и эксплуатационные характеристики следует оценивать самостоятельно; подробные результаты бенчмарков в предоставленных данных отсутствуют. Лицензия указана как qwen-community-1.0.

Qwen3-Embedding-0.6B-GGUF — набор GGUF-квантизаций модели Qwen/Qwen3-Embedding-0.6B, подготовленный mradermacher. Модель предназначена для получения текстовых эмбеддингов, оценки семантического сходства предложений, поиска и других задач feature extraction. В метаданных указано, что базовая модель относится к семейству Qwen и поддерживает английский язык. Размер базовой модели составляет 0,6 млрд параметров. Доступны варианты в форматах Q2_K, Q3_K, IQ4_XS, Q4_K_S, Q4_K_M, Q5_K_S, Q5_K_M, Q6_K, Q8_0 и f16; размер файлов — примерно от 0,4 до 1,3 ГБ. Квантизации позволяют выбирать компромисс между требованиями к ресурсам, скоростью и качеством: Q4_K_S и Q4_K_M отмечены как быстрые и рекомендуемые, Q6_K — как вариант очень хорошего качества, а Q8_0 — как быстрый вариант с наилучшим качеством среди перечисленных. Для некоторых низкобитных вариантов качество ниже. В README не указаны архитектурные детали, максимальная длина контекста, перечень дополнительных языков и точные показатели качества, поэтому эти характеристики нельзя подтвердить. Файлы распространяются по лицензии Apache License 2.0; README описывает именно квантизированные GGUF-файлы, а не исходную модель.

mlx-community/Qwen3-VL-Embedding-2B-mxfp4 — мультимодальная модель для получения эмбеддингов текста и изображений. Репозиторий mlx-community содержит конверсию модели Qwen/Qwen3-VL-Embedding-2B в формат MLX; в метаданных базовой моделью указана Qwen/Qwen3-VL-2B-Instruct, на которой основана производная модель. Архитектура относится к семейству Qwen3-VL, размер — 2 млрд параметров. README рекомендует библиотеку mlx-embeddings для использования. Модель предназначена для извлечения векторных представлений, которые можно применять для поиска и сопоставления текстов и изображений. Метаданные классифицируют её как feature-extraction и указывают поддержку мультимодальных эмбеддингов. Модель распространяется по лицензии Apache-2.0. Карточка не сообщает о длине контекста, поддерживаемых языках, точности или оценках качества; назначение MLX-конверсии подразумевает применение в экосистеме MLX.

rsl-ai/qwen_finetune_16bit — текстовая Sentence Transformer-модель, дообученная с помощью Unsloth на техническом датасете electroglyph/technical. Она преобразует предложения и абзацы в плотные векторы размерности 1024 и подходит для поиска по смыслу и извлечения релевантных документов. Сходство векторов можно оценивать косинусной мерой. Модель основана на unsloth/Qwen3-Embedding-0.6B; в карточке указана архитектура Qwen3 и около 507,6 млн параметров. README сообщает максимальную длину последовательности 512 токенов, тогда как метаданные указывают контекст 32 768 токенов. Для описанного сценария обучения использовались пары технических текстов на английском языке и MultipleNegativesRankingLoss. Модель принимает текст и выдаёт векторы; файлы представлены в формате safetensors. Лицензия в предоставленных данных не указана. Модель ориентирована на английские технические тексты, поэтому её качество для других языков и областей не подтверждено. Предел последовательности в README расходится с контекстом из метаданных; перед применением следует учитывать фактические ограничения используемой конфигурации.

bartowski/Qwen_Qwen3.5-9B-GGUF — это GGUF-квантизированная версия модели Qwen3.5-9B, разработанной Qwen и подготовленной bartowski. Модель предназначена для задач image-text-to-text, то есть обработки текстовых и визуальных входных данных с генерацией текста. Она подходит для локального запуска через llama.cpp и совместимые инструменты, включая LM Studio, KoboldCpp, Jan AI и Text Generation Web UI. В репозитории представлены варианты от BF16 до более компактных форматов Q8_0, Q6_K, Q5_K, Q4_K и Q3_K, объёмом примерно от 4,9 до 18,4 ГБ. Квантизация выполнена с использованием imatrix и llama.cpp; для некоторых конфигураций поддерживаются MTP-слои и режим draft-mtp. Более компактные варианты снижают требования к оперативной памяти, но могут уступать по качеству более высокоточным версиям. Архитектура, языки и размер контекстного окна в предоставленных данных не указаны. Модель распространяется по лицензии Apache-2.0.