I.2Синтез, понимание и проверка знаний

Это Sentence Transformer, дообученный автором samsartor на базе Qwen/Qwen3-Embedding-0.6B для сравнения смысловой близости текстов. Модель преобразует предложения и абзацы в плотные векторы размерности 1024; сходство оценивается косинусной мерой. Архитектура включает Qwen3Model, пулинг последнего токена и нормализацию векторов. Модель подходит для семантического поиска, поиска перефразировок, кластеризации и классификации текстов на основе эмбеддингов. Максимальная длина последовательности — 32 768 токенов. Для обучения указаны 5 022 парных примера и ContrastiveLoss. Метаданные описывают базовую Qwen3-Embedding-0.6B как многоязычную модель; конкретный набор поддерживаемых языков этой версии не уточнён. Лицензия в предоставленных данных не указана.

DeepSeek-R1-Distill-Qwen-32B-bf16 — языковая модель с архитектурой Qwen2, опубликованная сообществом mlx-community в формате MLX для запуска на устройствах Apple Silicon. Репозиторий содержит 32-миллиардную модель, конвертированную из deepseek-ai/DeepSeek-R1-Distill-Qwen-32B с помощью mlx-lm 0.21.1; исходная модель является дистилляцией DeepSeek-R1 на базе Qwen. Модель предназначена для диалоговой генерации текста и рассуждений, в том числе для решения задач по математике и программированию. Заявленная длина контекста составляет 131072 токена. Поддерживаются чат и интерфейс вызова инструментов. В карточке указана лицензия Apache-2.0. Ограничения по качеству и условиям применения в README не описаны.

Dolphin-2.9.1-Llama-3-8B-GGUF — квантизированная версия языковой модели Dolphin-2.9.1-Llama-3-8B, созданной cognitivecomputations на базе Meta Llama 3 8B. Дистрибутив подготовлен bartowski в формате GGUF с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и диалоговых сценариев, включая выполнение инструкций, программирование, математические задачи, function calling и агентские задачи. При дообучении использовались наборы Dolphin-2.9, OpenHermes-2.5, CodeFeedback-Filtered-Instruction, dolphin-coder, Samantha, Orca Math, Locutusque Function Calling и Agent-FLAN. Доступны варианты квантизации от Q8_0 до низкобитных IQ- и Q-форматов, что позволяет выбирать между качеством, размером файла и требованиями к оперативной памяти. Для работы предусмотрен chat-шаблон с ролями system, user и assistant. Сильной стороной модели является широкий охват инструкционных, кодовых, математических и инструментальных сценариев, а также возможность локального запуска через llama.cpp благодаря форматам GGUF. Более сильные варианты квантизации обычно обеспечивают лучшее качество, но требуют больше памяти; низкобитные варианты экономичнее, однако заметно уступают по качеству. Мультимодальность, поддерживаемые языки и размер контекстного окна в предоставленных данных не указаны. Лицензия обозначена как other, без дополнительных условий в README.

theo77186/dolphin-2.9.1-mistral-22b — преобразованная в формат Mistral версия Dolphin 2.9.1 Mixtral 1x22B, созданной Эриком Хартфордом, Лукасом Аткинсом, Фернандо Фернандесом и Cognitive Computations. Это плотная авторегрессионная языковая модель на 22 млрд параметров с контекстом до 65 536 токенов; репозиторий содержит веса в формате safetensors. Модель предназначена для диалогов и выполнения инструкций, включая задачи по программированию. В карточке также заявлены начальные агентные возможности и поддержка вызова функций. Для исходной модели указано полное дообучение всех слоёв с длиной последовательности 16 000 токенов; она основана на Dolphin-2.9-Mixtral-8x22B и извлечённом объединённом эксперте. Лицензия — Apache-2.0, допускающая коммерческое использование при соблюдении её условий. Автор README отмечает, что шаблон ChatML работает некорректно и что формат Alpaca при этом работает. Модель описана как uncensored и может следовать запросам, в том числе небезопасным; перед предоставлением сервиса рекомендуется добавить собственный слой выравнивания. Языки обучения и точные показатели качества в карточке не раскрыты.

Dolphin 2.9.2 Mixtral 8x22B GGUF — это квантизированная версия языковой модели Dolphin 2.9.2, созданная сообществом cognitivecomputations на базе mistral-community/Mixtral-8x22B-v0.1. Репозиторий bartowski содержит варианты модели в формате GGUF, подготовленные с помощью llama.cpp и imatrix-квантизации. Модель предназначена для генерации текста в диалогах, выполнения инструкций, программирования, математических задач, function calling и агентских сценариев. В обучении использовались наборы данных для чат-взаимодействия, кода, обратной связи по программированию, математики, системных инструкций и работы агентов. Указан английский язык, а формат запросов основан на ChatML с ролями system, user и assistant. Архитектура и максимальный размер контекста в README не указаны. Доступны варианты квантизации от Q8_0 до IQ1_M размером примерно от 32,73 до 149,42 ГБ. Более качественными и рекомендуемыми названы Q5_K_M, Q4_K_M и IQ4_XS; варианты с более низкой разрядностью требуют меньше памяти, но могут заметно уступать по качеству. Модель предназначена для запуска через совместимые инструменты, включая llama.cpp, однако большие размеры файлов предъявляют высокие требования к оперативной памяти и видеопамяти. Модель распространяется по лицензии Apache-2.0. Ограничения включают зависимость качества от выбранной квантизации и значительные требования к ресурсам; сведения о специализированных мультимодальных возможностях и поддержке других языков отсутствуют.

Falcon3-1B-Instruct — компактная инструктивная языковая модель семейства Falcon3, разработанная Technology Innovation Institute. Она дообучена на базе tiiuae/Falcon3-1B-Base и предназначена для диалогов и генерации текста по инструкциям. Модель имеет плотную архитектуру Transformer с причинным декодером и 1,4 млрд параметров. В ней 18 блоков декодера, Grouped Query Attention, SwiGLU и RMSNorm; контекстное окно — до 8192 токенов. Модель принимает и генерирует текст на английском, французском, испанском и португальском языках. Модель обучалась на данных для STEM, диалогов, программирования, безопасности и вызова функций. В карточке заявлены сильные результаты в рассуждениях, понимании языка, следовании инструкциям, математике и задачах с кодом. Лицензия — TII Falcon-LLM License 2.0; перед использованием следует учитывать её условия.

futuredatascience/from-classifier-v0 — модель Sentence Transformers на архитектуре MPNet, разработанная Futuredatascience. Она преобразует предложения и абзацы в плотные векторы размерностью 768, предназначенные для вычисления семантического сходства, кластеризации и семантического поиска. Модель содержит 136,7 млн параметров, принимает текст и возвращает векторные представления; максимальная длина контекста — 514 токенов. Для обучения использовалась функция потерь CosineSimilarityLoss. Модель опубликована в формате PyTorch; метаданные не содержат сведений о лицензии или языковой специализации.

Карточка модели gabriellarson/GroveMoE-Inst-GGUF на Hugging Face совпадает с карточкой inclusionAI/GroveMoE-Inst, поэтому описание составлено по ней. GroveMoE-Inst — инструктивная языковая модель компании InclusionAI на разреженной архитектуре GroveMoE с adjugate experts. По карточке, модель создана на основе Qwen3-30B-A3B-Base: после upcycling она прошла mid-training и дообучение SFT. В README указано 33 млрд параметров всего и 3,14–3,28 млрд активных на токен; метаданные каталога указывают 2,6 млрд параметров, поэтому размер репозитория и цифры в описании расходятся. Модель принимает текст и предназначена для диалогов, следования инструкциям, решения математических и научных задач, а также программирования; заявлен контекст 40 960 токенов и интерфейс вызова инструментов. Разреженная активация позволяет повторно использовать общие вычисления, а технический отчёт и таблица бенчмарков описывают её результаты на задачах знаний, математики и кода. Для общей работы авторы рекомендуют задавать длину генерации до 16 384 токенов и приводят параметры сэмплирования. Модель опубликована в формате safetensors и распространяется по лицензии Apache-2.0. В README нет сведений о поддерживаемых естественных языках.

gte-base — модель для получения векторных представлений текста из семейства General Text Embeddings (GTE), разработанная Alibaba DAMO Academy. Она основана на архитектуре BERT и обучена на большом корпусе пар текстов с разметкой релевантности с использованием многоэтапного контрастивного обучения. Модель предназначена для поиска информации, оценки семантического сходства предложений и ранжирования текстов; её также можно применять для кластеризации и классификации текстов. Модель содержит 136,7 млн параметров, формирует эмбеддинги размерности 768 и обрабатывает последовательности длиной до 512 токенов. Доступны форматы PyTorch и ONNX. В сравнении на бенчмарке MTEB модель показала средний результат 62,39 по 56 задачам согласно карточке модели. Поддерживается английский язык; более длинные тексты обрезаются до 512 токенов. Лицензия — MIT.

gte-small — модель текстовых эмбеддингов семейства General Text Embeddings (GTE), разработанная Alibaba DAMO Academy на основе архитектуры BERT. Вариант small содержит около 40 млн параметров и принимает тексты длиной до 512 токенов; для более длинных текстов вход обрезается. Модель рассчитана на английский язык. Полученные эмбеддинги подходят для семантического поиска и сравнения предложений, а также могут использоваться в конвейерах поиска информации и ранжирования текстов. Модель можно применять, например, для поиска релевантных документов или оценки смыслового сходства запросов и фрагментов текста. Лицензия — MIT.

Карточка модели joaorobson/harrier-oss-v1-27b на Hugging Face совпадает с карточкой microsoft/harrier-oss-v1-27b, поэтому описание составлено по ней. harrier-oss-v1-27b — разработанная Microsoft многоязычная модель для получения плотных текстовых эмбеддингов. Она использует декодерную архитектуру Gemma3TextModel с last-token pooling и L2-нормализацией; в метаданных указано 28,3 млрд параметров, а README для варианта 27B приводит размерность эмбеддинга 5376 и максимум 32 768 токенов. Метаданные указывают нативный контекст 131 072 токена. Модель предназначена для семантического поиска и извлечения документов, кластеризации, оценки сходства предложений, классификации, поиска параллельных текстов и ранжирования. По README, Harrier OSS v1 достигла результата 74,3 на Multilingual MTEB v2 для варианта 27B. Для запросов рекомендуется добавлять короткую инструкцию с описанием задачи; отсутствие инструкции может снизить качество. Метаданные подтверждают многоязычность и широкий список языков, а README также перечисляет русский. Модель распространяется под лицензией MIT. Это текстовая модель эмбеддингов: она принимает текст и выдаёт векторы, а качество зависит от формулировки инструкции и используемого сценария; результаты могут немного различаться в зависимости от версий Transformers и PyTorch.

Llama-3-Instruct-15B-SPPO-Iter3-SH — чат-модель для генерации текста по инструкциям, описанная автором как увеличенная до 15 млрд параметров версия Llama-3-Instruct-8B-SPPO-Iter3 с заменой проекций. Модель создана с помощью mergekit: объединены Llama-3-Instruct-8B-SPPO-Iter3, L3-Aethora-15B-V2 и Llama-3-Instruct-abliteration-LoRA-8B с использованием методов Passthrough и SLERP. В метаданных указано 14,5 млрд параметров, архитектура LlamaForCausalLM и контекст 8192 токена. Модель предназначена для программирования, научных вопросов и общих инструкций. Карточка указывает формат safetensors и наличие квантованной версии GGUF Q5_K_M; для диалога используется шаблон Llama-3-Instruct. Основной язык базовой модели указан как английский. Лицензия в предоставленных данных не указана.

JetBrains/Mellum2-12B-A2.5B-Instruct-GGUF-Q8_0 — это квантованная в формате GGUF версия инструкционной модели Mellum2-12B-A2.5B-Instruct, разработанной JetBrains. Модель предназначена для генерации текста и выполнения инструкций, включая задачи программирования и ассистирования, и может запускаться локально через llama.cpp, Ollama, LM Studio и другие совместимые среды. Модель использует архитектуру Mixture-of-Experts с 64 экспертами, из которых для каждого токена активируются 8. Контекстное окно составляет 131 072 токена. Представленная версия применяет 8-битное квантование Q8_0, занимает около 12,9 ГБ и сохраняет близкое к BF16 качество: KL-дивергенция составляет примерно 0,016, а наиболее вероятный токен совпадает с BF16 в 95,2% случаев. В README явно указан английский язык; сведения о других языках и дополнительных модальностях отсутствуют. Модель формирует ответы напрямую, без внешнего отображения цепочки рассуждений. Сильные стороны версии — существенно меньший размер по сравнению с BF16 при небольших потерях качества, длинный контекст и широкая совместимость с локальными GGUF-рантаймами. Ограничения включают повышенные требования к памяти по сравнению с более агрессивными вариантами квантования и отсутствие в данном README подробных результатов оценки, описания полного набора языков и характеристик базовой модели. Модель распространяется по лицензии Apache 2.0.

MiniCPM5-2B-SFT — версия модели MiniCPM5 от OpenBMB для локальных ассистентов, программных агентов и запуска на устройствах с ограниченными ресурсами. Это плотная авторегрессионная языковая модель на архитектуре LlamaForCausalLM с 2,2 млрд параметров по метаданным, 42 слоями и контекстом до 131 072 токенов. Модель предназначена для диалогов, генерации кода, математических рассуждений, работы с длинным контекстом и сценариев использования инструментов. Карточка сообщает о поддержке английского и китайского языков и описывает сильные результаты модели относительно других моделей сопоставимого размера; эти сравнительные оценки получены разработчиком. Модель принимает и генерирует текст. Весы опубликованы в формате safetensors, для запуска описана поддержка Transformers и локального развёртывания на CPU и GPU, а также серверных движков. Лицензия — Apache-2.0. Ответы могут быть неточными, предвзятыми или оскорбительными; выводы по медицине, финансам, праву и политике не являются экспертной рекомендацией.

jfarray/Model_paraphrase-multilingual-mpnet-base-v2_5_Epochs — модель Sentence-Transformers на архитектуре XLM-RoBERTa, дообученная для создания плотных векторных представлений предложений и абзацев. Она преобразует текст в векторы размерностью 768 и предназначена для сравнения смысловой близости, семантического поиска и кластеризации текстов. Модель подходит для поиска похожих фраз и документов, группировки текстов по смыслу и построения компонентов поиска на эмбеддингах. В README указано обучение с CosineSimilarityLoss. Размер модели — 305,2 млн параметров, максимальная длина контекста — 514 токенов. Метаданные указывают на поддержку sentence similarity и извлечения признаков; языковая специализация не обозначена. Модель распространяется в формате PyTorch. Лицензия в предоставленных данных не указана, поэтому условия использования следует сверить на странице репозитория Hugging Face. Эмбеддинги сами по себе не генерируют ответы и качество поиска зависит от данных и выбранной схемы индексации.

sentence-transformers/msmarco-distilbert-base-v4 — модель Sentence-Transformers на базе DistilBERT, обученная командой Sentence-Transformers. Она преобразует предложения и абзацы в плотные векторы размерности 768 для семантического поиска, сравнения сходства и кластеризации текстов. Контекст модели ограничен 512 токенами; доступны реализации в форматах PyTorch, TensorFlow, ONNX и OpenVINO. Лицензия — Apache-2.0. Модель принимает текст и выдаёт эмбеддинги, которые можно использовать для поиска релевантных фрагментов, группировки похожих текстов и вычисления семантического сходства. Для применения через Transformers требуется корректно агрегировать контекстные представления токенов с помощью подходящей операции pooling. Данные карточки не уточняют поддерживаемые естественные языки и ограничения качества.

Карточка модели Yunziyou/mxbai-embed-large-v1 на Hugging Face совпадает с карточкой mixedbread-ai/mxbai-embed-large-v1, поэтому описание составлено по ней. mxbai-embed-large-v1 — модель Mixedbread AI для построения векторных представлений предложений и текстов. Это плотная BERT-модель на 433,9 млн параметров с контекстом до 512 токенов; она принимает текст и выдаёт эмбеддинги для поиска и сопоставления текстов. Карточка указывает английский язык и библиотеку sentence-transformers. Модель предназначена для семантического поиска, извлечения релевантных фрагментов и оценки сходства предложений. Для поисковых запросов README рекомендует добавлять префикс «Represent this sentence for searching relevant passages:». Поддерживаются Matryoshka Representation Learning и бинарная квантизация, позволяющие уменьшать размер эмбеддингов и затраты на их хранение. В заявленной авторами оценке на MTEB модель показывает сильные результаты среди моделей размера BERT-large. Модель распространяется по лицензии Apache-2.0. Ограничения включают окно контекста в 512 токенов и необходимость использовать рекомендованный префикс для запросов в сценариях поиска; авторы также отмечают наличие ограничений, которые планировали исправить в версии v2, не уточняя их в этой карточке.

Nemotron 3 Nano 30B-A3B GGUF — квантованный вариант NVIDIA Nemotron 3 Nano 30B-A3B, подготовленный BatiAI для локального запуска на компьютерах Mac. Это гибридная языковая модель NemotronH с архитектурой Mamba и attention и смесью экспертов: в README указаны 30 млрд параметров, 128 экспертов и 8 активных на токен. Для выполнения используется llama.cpp; доступны варианты IQ3_XXS, IQ4_XS и Q5_K_M с разными требованиями к памяти. Модель предназначена для диалогов, рассуждений, программирования и агентных сценариев, включая работу с инструментами и структурированными ответами. README описывает её как рассчитанную на длинный контекст с линейным масштабированием гибридной архитектуры и приводит тесты на Mac с Apple Silicon. В метаданных указана поддержка английского, корейского, японского и китайского языков; сведения базовой модели каталога также упоминают шесть языков. Репозиторий содержит квантованные GGUF-веса, хотя метаданные форматов обозначают их как «GGUF BF16». Лицензия — NVIDIA Open Model License, названная в README коммерчески ориентированной; перед использованием следует проверить её условия для конкретного применения. Производительность и качество зависят от выбранной квантизации и доступной памяти.

Olmo-Hybrid-Instruct-SFT-7B — англоязычная авторегрессионная языковая модель семейства Olmo Hybrid, разработанная Allen Institute for AI (Ai2). Это плотная гибридная RNN-модель с 6,3 млрд параметров, дообученная методом supervised fine-tuning на наборах Dolci для инструкций, включая примеры использования инструментов. Модель принимает текст и генерирует текст; размер контекста — до 32 768 токенов. Модель предназначена для диалогов и ответов на инструкции, в том числе для задач по математике, программированию, общим знаниям и вызову инструментов. Ai2 сообщает о повышенной эффективности обучения и инференса на длинном контексте по сравнению с Olmo 3; приведённые в карточке результаты показывают пригодность модели для решения разнообразных текстовых задач. Лицензия — Apache 2.0. Модель может выдавать неточные ответы и вредный или предвзятый контент, поскольку не имеет фильтрации безопасности.

Qdrant подготовила ONNX-порт модели sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2 с квантизацией. Это плотная модель на архитектуре BERT с 124,3 млн параметров, предназначенная для получения эмбеддингов предложений, поиска семантически близких текстов и текстовой классификации. Репозиторий предлагает запуск через FastEmbed. Модель поддерживает многоязычные сценарии, включая поиск сходства между предложениями; максимальная длина контекста — 512 токенов. Лицензия — Apache-2.0. Квантизированный ONNX-формат предназначен для эффективного инференса, но качество на задачах классификации зависит от используемого метода и данных.

PawanEmbd-68M — модель эмбеддингов предложений на основе Transformer-энкодера с проекционным слоем, разработанная dmedhi. Модель содержит 67,7 млн параметров, выдаёт векторы размерностью 768 и обрабатывает последовательности длиной до 512 токенов. Она создана методом дистилляции знаний из IBM Granite-278M Multilingual Embedding; репозиторий содержит веса в формате safetensors. Модель предназначена для семантического поиска, оценки сходства предложений, кластеризации текстов, выявления дубликатов, подбора похожих объектов и извлечения релевантных фрагментов для систем вопросно-ответного поиска. В README автор приводит сравнение, согласно которому студенческая модель существенно меньше и быстрее учительской на CPU. В метаданных указан английский язык и набор данных all-nli. Лицензия — Apache-2.0. Максимальная длина последовательности составляет 512 токенов, поэтому более длинные тексты потребуется обрезать или обрабатывать частями.

Карточка модели PoetryMTEB/Poetry-Qwen3-Embedding-0.6B на Hugging Face совпадает с карточкой unsloth/Qwen3-Embedding-0.6B, поэтому описание составлено по ней. Qwen3-Embedding-0.6B — текстовая модель эмбеддингов семейства Qwen3, представленная в репозитории Unsloth и основанная на Qwen/Qwen3-0.6B-Base. Это плотная архитектура с 507,6 млн параметров и контекстом до 32 768 токенов. Модель преобразует текст в векторы размерностью от 32 до 1024 и позволяет задавать инструкцию для конкретной задачи. Модель предназначена для семантического поиска и извлечения текстов, сравнения предложений, классификации и кластеризации текста, поиска по коду и межъязыкового сопоставления. Она поддерживает более 100 языков, включая языки программирования, и рассчитана на многоязычные и межъязыковые сценарии. Лицензия — Apache-2.0. Карточка описывает всю серию Qwen3 Embedding, поэтому приведённые в ней лидерские результаты относятся к модели 8B, а не подтверждают такие же результаты для версии 0.6B. Для работы с Transformers требуется версия 4.51.0 или новее: более ранние версии могут выдавать ошибку распознавания архитектуры Qwen3.

hampsonw/Qwen3.6-27B-AWQ-BF16-INT4-mtp-bf16 — вариант модели Qwen3.6-27B, созданный на основе чекпойнта cyankiwi/Qwen3.6-27B-AWQ-BF16-INT4 версии 26.05.01. Модель представляет собой каузальную языковую модель с энкодером изображений, разработанную в экосистеме Qwen. Она ориентирована на генерацию текста, программирование, агентные сценарии, работу с репозиториями и задачами, требующими визуально-текстового понимания. Модель содержит около 27 млрд параметров, 64 слоя и поддерживает контекст длиной 262 144 токена с заявленной возможностью расширения до 1 010 000 токенов. Поддерживаются английский, китайский, хинди, арабский, русский, японский, корейский, нидерландский, французский и испанский языки. Архитектура включает Gated DeltaNet, Gated Attention, FFN и механизм multi-token prediction (MTP); размер модели указан как 26,37 ГБ. Основная часть весов сжата до INT4 в формате AWQ/compressed-tensors, что снижает требования к памяти. Тензоры MTP заменены на необжатые BF16 из базовой модели и предназначены для speculative decoding в vLLM. Это может повысить эффективность генерации при использовании поддерживаемой конфигурации vLLM, однако чекпойнт требует совместимого программного стека и настройки MTP. README не приводит количественных результатов бенчмарков и подробностей об ограничениях качества мультимодального ввода. Лицензия — Apache-2.0.

Qwen3.8-27B-ABLITERATED-UNCENSORED-PHILADELPHIA-CLASS — мультимодальная производная модель на базе Qwen/Qwen3.8-27B, разработанная автором репозитория shuijiaodawang. Она предназначена для диалогов, генерации и анализа текста, программирования, работы с JSON, объяснений, математических задач, отладки, а также обработки изображений и текстово-визуальных запросов. Модель использует гибридную текстово-визуальную архитектуру Qwen3.8 с 27 млрд параметров и поддерживает мультиязычную работу. Доступен BF16-чекпойнт Transformers с текстовыми и визуальными весами, а также GGUF-варианты Q4_K_M, Q5_K_M и Q8_0 для локальной текстовой генерации. Заявлен контекст 32 768 токенов для примера Ollama; режим рассуждений Qwen3.8 сохраняется. Для BF16-версии рекомендуется около 56 ГБ памяти, не считая накладных расходов и KV-кэша. Главная особенность — существенное снижение отказов: во внутренних тестах заявлены 0 отказов на 842 промптах и на отдельной выборке из 126 промптов, при этом проверка связности дала 23 успешных результата из 24. Эти оценки являются внутренними, не являются независимыми бенчмарками и не подтверждают сохранение исходных показателей точности, рассуждений, программирования или компьютерного зрения. Поведение может изменяться при квантовании и использовании разных бэкендов; GGUF-файлы не поддерживают изображения без совместимого vision projector. MTP-голова отсутствует, поэтому спекулятивное декодирование на её основе недоступно. Модель распространяется по лицензии Apache License 2.0.

Qwen3.8-27B-Q4_0_ROCMFP4_STRIX_LEAN — квантизированная версия базовой модели Qwen/Qwen3.8-27B, подготовленная pugant в формате GGUF для llama.cpp. Это плотная гибридная модель с 48 слоями gated-delta-net и 16 слоями полного внимания, нативным контекстом до 262 тысяч токенов и поддержкой MTP для спекулятивного декодирования. В метаданных указаны английский и мультиязычный режимы, а основное назначение — генерация текста, включая программный код, структурированные ответы и задачи RAG. Модель использует квантизацию Q4_0_ROCMFP4_STRIX_LEAN с эффективной точностью около 4,34 BPW и размером примерно 13,82 ГиБ. Она оптимизирована для AMD Strix Halo с графикой RDNA 3.5 и ROCmFPX, поддерживает ROCm и Vulkan-бэкенды, а встроенный MTP-слой может заметно ускорять декодирование на предсказуемом и структурированном контенте. Наиболее высокое ускорение ожидается при генерации кода, детерминированных и структурированных данных; для обычной прозы эффект ограничен. Главное ограничение — модель несовместима со стандартной сборкой llama.cpp и требует форка ROCmFPX с пользовательскими типами тензоров. Она протестирована на Radeon 8060S в составе AMD Ryzen AI Max+ 395, поэтому работоспособность и производительность на другом оборудовании не гарантируются. Лицензия — Apache-2.0.

Карточка модели Rasputin312/qwen3-8B-finetune на Hugging Face совпадает с карточкой Qwen/Qwen3-Embedding-4B, поэтому описание составлено по ней. Qwen3-Embedding-4B — мультиязычная модель для построения текстовых эмбеддингов из семейства Qwen3, разработанная командой Qwen. Это плотная модель на базе Qwen3-4B-Base, дообученная для задач поиска и сравнения текстов. Репозиторий содержит веса в формате safetensors; лицензия — Apache-2.0. Модель подходит для семантического поиска по документам и коду, оценки сходства предложений, классификации и кластеризации текстов, а также поиска соответствий между языками. Она поддерживает более 100 языков, контекст до 40 960 токенов по метаданным и до 32 тысяч токенов в описании модели. Размер эмбеддинга можно настраивать от 32 до 2560 измерений; также поддерживаются инструкции, настраивающие представление под задачу.

Qwen3.8-Flash-Next GGUF — это квантизированная версия официальной модели Qwen/Qwen3.8-Flash-Next, подготовленная BatiAI в формате GGUF для запуска через llama.cpp. Модель предназначена для генерации текста, программирования, работы с инструментами и структурированного вывода, включая JSON. Заявлена поддержка английского, корейского и китайского языков. Модель использует MoE-архитектуру qwen4exp: около 176,9 млрд параметров, из которых примерно 4,9 млрд активируются на каждом токене; всего используется 512 экспертов с выбором top-10. Доступны варианты квантизации IQ3_XXS, IQ4_XS, Q4_K_M и Q6_K размером примерно от 79 до 141 ГиБ. Вариант IQ4_XS показал скорость генерации 11,7 токена в секунду на CPU и 32,74 токена в секунду на Mac Studio M2 Ultra с 192 ГиБ памяти. Для запуска требуется актуальная версия llama.cpp с поддержкой qwen4exp; старые версии, а также ранние сборки Ollama и LM Studio могут не загружать модель. Сильными сторонами являются высокая скорость для модели такого размера, проверенная генерация на корейском языке, поддержка вызова инструментов, программирования, длинных текстов и структурированного вывода. При этом модель ненадёжна в арифметике: в тестах она допустила ошибки в двух нетривиальных выражениях, поэтому вычисления, особенно связанные с деньгами и количествами, следует передавать калькулятору или проверять отдельно. Для работы требуется значительный объём памяти. Лицензия указана как qwen-community-license-1.0; применяются условия лицензии Qwen.

Карточка модели 1kxia/Qwen3-Embedding-0.6B на Hugging Face совпадает с карточкой unsloth/Qwen3-Embedding-0.6B, поэтому описание составлено по ней. Qwen3-Embedding-0.6B — текстовая модель эмбеддингов семейства Qwen3, представленная в репозитории Unsloth и основанная на Qwen/Qwen3-0.6B-Base. Это плотная архитектура с 507,6 млн параметров и контекстом до 32 768 токенов. Модель преобразует текст в векторы размерностью от 32 до 1024 и позволяет задавать инструкцию для конкретной задачи. Модель предназначена для семантического поиска и извлечения текстов, сравнения предложений, классификации и кластеризации текста, поиска по коду и межъязыкового сопоставления. Она поддерживает более 100 языков, включая языки программирования, и рассчитана на многоязычные и межъязыковые сценарии. Лицензия — Apache-2.0. Карточка описывает всю серию Qwen3 Embedding, поэтому приведённые в ней лидерские результаты относятся к модели 8B, а не подтверждают такие же результаты для версии 0.6B. Для работы с Transformers требуется версия 4.51.0 или новее: более ранние версии могут выдавать ошибку распознавания архитектуры Qwen3.

Qwen3-Embedding-4B — модель эмбеддингов текста из семейства Qwen3, опубликованная в репозитории unsloth и дообученная на базе Qwen/Qwen3-4B-Base. Плотная архитектура Qwen3 насчитывает около 3,7 млрд параметров. Модель рассчитана на получение векторных представлений текста для поиска и ранжирования; метаданные также отмечают возможности генерации текста и сходства предложений. Модель поддерживает более 100 языков, понимает длинные тексты и принимает инструкции, помогающие настроить эмбеддинги под задачу. Контекст составляет до 40 960 токенов по метаданным, а README указывает 32 тыс.; размер выходного вектора можно задавать в диапазоне от 32 до 2560 измерений. Модель подходит для семантического и межъязыкового поиска, поиска по коду, классификации и кластеризации текстов. Модель распространяется под лицензией Apache-2.0. README рекомендует настраивать инструкции под сценарий и отмечает, что без инструкции на стороне запроса в задачах поиска качество может снижаться примерно на 1–5%; для многоязычных сценариев авторы советуют формулировать инструкции на английском. Для Transformers версии ниже 4.51.0 возможна ошибка загрузки с ключом qwen3.

alexliap/Qwen3-Embedding-8B-NVFP4 — квантизированная версия модели Qwen3-Embedding-8B, разработанной командой Qwen. Модель предназначена для получения текстовых эмбеддингов и решения задач семантического поиска, извлечения документов, поиска по коду, классификации, кластеризации и двуязычного сопоставления текстов. Она поддерживает инструкции, задающие целевой сценарий или язык, и может использоваться, например, для поиска релевантных фрагментов по пользовательскому запросу. Модель содержит около 8 млрд параметров, имеет контекст длиной до 32K токенов и поддерживает более 100 языков, включая языки программирования. Размер выходного вектора можно выбирать в диапазоне от 32 до 4096 измерений; максимальная размерность составляет 4096. Все линейные слои квантизированы по схеме NVFP4 с использованием llmcompressor и формата compressed-tensors, что предназначено для снижения требований к хранению и ускорения инференса на совместимом оборудовании. В README приведён пример запуска через vLLM в режиме embed. К сильным сторонам относятся мультиязычность, поддержка длинного контекста, инструкционно-управляемые эмбеддинги и гибкая размерность векторов. Возможные ограничения связаны с потерями качества из-за квантизации и с тем, что калибровка выполнялась всего на 100 примерах греческого языка длиной до 4096 токенов, поэтому поведение на других языках и типах данных может отличаться. Модель распространяется по лицензии Apache-2.0.