II.1Анализ требований и архитектура ПО

CrossGemma-sts-300m — кросс-энкодер для оценки семантического сходства двух текстов, созданный на основе google/embeddinggemma-300m и дообученный dleemiller. Модель принимает пару текстов и выдаёт оценку сходства от 0 до 1: более высокое значение означает более близкий смысл. Модель предназначена для ранжирования и сравнения текстовых пар, оценки ответов языковых моделей и семантического поиска. Она содержит около 303 млн параметров, использует архитектуру Gemma 3 Text для классификации последовательностей и обрабатывает до 2048 токенов. В README указаны результаты на STS-Benchmark: корреляция Пирсона 0,9175 и Спирмена 0,9135. Обучение включало данные wiki-sim и sentence-transformers/stsb; оценка качества на других данных не приведена. Лицензия — Apache-2.0.

Карточка модели j0h4nnes/decoy-ify_llama3.1_8B_v2 на Hugging Face совпадает с карточкой sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2, поэтому описание составлено по ней. paraphrase-multilingual-MiniLM-L12-v2 — модель Sentence-Transformers, обученная командой sentence-transformers. Она преобразует предложения и абзацы в плотные векторы размерности 384, предназначенные для сравнения смысловой близости. Модель построена на архитектуре BERT с 12 слоями MiniLM; объём составляет 124,3 млн параметров, а максимальная длина контекста — 512 токенов. Модель подходит для семантического поиска, поиска похожих формулировок и кластеризации текстов. Она поддерживает много языков, включая русский, и может сопоставлять предложения на разных языках. Доступны форматы PyTorch, Safetensors, TensorFlow, ONNX и OpenVINO. Модель распространяется по лицензии Apache-2.0. Векторы фиксированной размерности и лимит в 512 токенов ограничивают представление длинных документов; для абзацев и документов обычно требуется разбиение на фрагменты.

bartowski/DeepSeek-Coder-V2-Instruct-GGUF — это набор квантованных версий модели DeepSeek-Coder-V2-Instruct, разработанной DeepSeek и преобразованной bartowski в формат GGUF для запуска через llama.cpp и совместимые инструменты. Модель предназначена прежде всего для генерации текста и работы с программным кодом в диалоговом формате: написания, дополнения и объяснения кода, а также решения связанных с программированием задач. В набор входят варианты квантования Q4_K_M, Q3_K_XL, Q3_K_M, Q2_K_L, Q2_K, IQ2_XS и IQ1_M размером примерно от 52,7 до 142,45 ГБ. Квантование выполнено с использованием imatrix и llama.cpp. Версия Q4_K_M отмечена как рекомендуемая благодаря балансу качества и размера; варианты с более сильным сжатием требуют меньше памяти, но обеспечивают более низкое качество, а IQ1_M обозначена как крайне низкокачественная и нерекомендуемая. Точные архитектурные характеристики, число параметров, поддерживаемые языки и размер контекста в README не указаны. Модель подходит для локального запуска при наличии значительных ресурсов RAM и, при необходимости, VRAM; выбор файла зависит от доступной памяти и используемого backend. Поддерживаются K- и I-кванты, при этом совместимость и производительность могут различаться для CPU, Apple Metal, NVIDIA cuBLAS, AMD rocBLAS и Vulkan. Модель распространяется по лицензии DeepSeek License; в карточке указано обозначение лицензии и ссылка на файл LICENSE.

DeepSeek-Coder-V2-Instruct-GGUF — это GGUF-квантизированная версия модели DeepSeek-Coder-V2-Instruct, разработанной DeepSeek-ai и подготовленной для квантизации компанией Second State Inc. Модель предназначена прежде всего для генерации и обработки программного кода, а также для диалогового взаимодействия в формате instruct. В README указана поддержка контекста до 128 000 токенов и запуск через LlamaEdge версии 0.12.3 или новее с шаблоном prompt-типа deepseek-chat-2. Доступны варианты с квантизацией Q2_K, Q3_K и другие GGUF-варианты с различными уровнями точности и размерами файлов. Более компактные варианты требуют меньше ресурсов, но могут заметно уступать по качеству; для Q2_K и Q3_K это прямо отмечено в описании. Модель ориентирована на локальное или встраиваемое использование через совместимые инструменты GGUF и LlamaEdge. Данные о точной архитектуре, числе параметров, поддерживаемых языках программирования и естественных языках, модальностях, результатах тестирования и системных требованиях в представленном README не указаны. Использование регулируется лицензией DeepSeek, обозначенной как deepseek-license; в метаданных указана лицензия other.

Dicta-LM 3.0 Nemotron 12B Instruct — открытая весовая языковая модель, разработанная Dicta для работы на иврите и английском языках. Это instruct-версия с 12 млрд параметров, архитектурой Hybrid-SSM и точностью BF16; в качестве исходной модели использована NVIDIA-Nemotron-Nano-12B-v2-Base. Модель предназначена для диалогов и выполнения инструкций, а также поддерживает вызов инструментов для интеграции с внешними API и сервисами. Для работы следует использовать предусмотренный моделью chat template; в README рекомендованы vLLM и Transformers. Разработчик заявляет, что семейство Dicta-LM 3.0 достигает лучших результатов своего класса по ивриту. Модель распространяется с лицензией, обозначенной в метаданных как other; README заявляет о свободном использовании, но конкретные условия лицензии следует проверить отдельно.

distiluse-base-multilingual-cased-v1 — модель Sentence-Transformers, обученная командой sentence-transformers. Она преобразует предложения и абзацы в плотные векторы размерностью 512 для поиска по смыслу, сравнения текстов и кластеризации. Архитектура основана на DistilBERT; модель принимает текст и выдаёт эмбеддинги. Поддерживает арабский, китайский, нидерландский, английский, французский, немецкий, итальянский, корейский, польский, португальский, русский, испанский и турецкий языки. Максимальная длина контекста — 512 токенов. Распространяется по лицензии Apache-2.0.

distiluse-base-multilingual-cased-v2 — модель Sentence Transformers, обученная командой sentence-transformers. Она преобразует предложения и абзацы в плотные векторы размерностью 512 на основе архитектуры DistilBERT и предназначена для сравнения семантической близости текстов, семантического поиска и кластеризации. Модель поддерживает множество языков, включая русский, и может применяться для поиска похожих фраз и документов в многоязычных коллекциях. Максимальная длина контекста — 512 токенов. Доступны форматы PyTorch, safetensors, TensorFlow, ONNX и OpenVINO; лицензия — Apache-2.0. Модель выдаёт эмбеддинги, а не готовые ответы или метки. Качество поиска зависит от языка, предметной области и выбранного способа сравнения векторов; тексты длиннее контекстного окна ограничиваются доступной длиной.

hermoine1234/fine_tuned_model_v3 — модель Sentence Transformers на базе архитектуры XLM-RoBERTa, обученная сопоставлять предложения и абзацы в плотном векторном пространстве. Она содержит 305,2 млн параметров и строит эмбеддинги размерности 768; для оценки сходства используется косинусная близость. Модель подходит для семантического поиска, поиска похожих предложений, выявления перефразирований, кластеризации и классификации текста. Карточка описывает обучение на 1 784 парах текстов с CosineSimilarityLoss; примеры датасета представлены на нескольких языках. README указывает максимальную длину последовательности 128 токенов, тогда как метаданные каталога указывают нативный контекст 514 токенов. Модель принимает текст и выдаёт векторы эмбеддингов; файлы представлены в формате safetensors. Лицензия в предоставленных данных не указана.

Vontra/GLM-5.3-Flash-MLX-4bit-MTP — MLX-конверсия модели GLM-5.3-Flash от Z.ai, подготовленная для Apple Silicon. Это мультимодальная sparse MoE-модель архитектуры glm5_next с поддержкой текста и изображений, рассчитанная на работу с английским и китайским языками. Модель распространяется в формате MLX safetensors и сохраняет оригинальные токенизатор, chat template, мультимодальный процессор и настройки генерации. Модель предназначена для локальной генерации текста и обработки изображений в совместимых окружениях MLX и MLX-VLM. Она использует гибридное линейное и разреженное внимание, manifold-constrained hyper-connections и встроенный блок предсказания следующего токена для speculative decoding (native MTP). Заявленный контекст составляет до 1 048 576 токенов. Квантование выполнено методом weight-only post-training quantization: основные подходящие матрицы переведены в 4-bit с group size 64, тогда как vision encoder, projector, embeddings, output head и часть служебных тензоров сохранены в исходной или совместимой точности. К сильным сторонам относятся мультимодальность, очень длинный контекст, поддержка sparse MoE, оптимизация под Apple Silicon и существенное уменьшение размера весов по сравнению с полноточной моделью. Репозиторий занимает около 181,7 ГБ, поэтому для запуска требуется значительный объём объединённой памяти. Native MTP требует специальной интеграции GLM5 Next в runtime; проверена работа с oMLX 0.6.3rc3, MLX 0.32.0 и MLX-VLM 0.6.3 с соответствующей поддержкой. Старые или стандартные сборки без этой интеграции могут работать только без MTP либо не поддерживать модель. Приведённый тест на Apple M3 Ultra показал около 6,27 токена в секунду при отключённом MTP, но фактическая производительность зависит от нагрузки и окружения. Лицензия — MIT.

gte-modernbert-base — англоязычная модель для построения текстовых эмбеддингов, разработанная Tongyi Lab компании Alibaba. Она основана на encoder-only архитектуре ModernBERT и содержит 149 млн параметров; вектор представления имеет размерность 768, максимальная длина входа — 8192 токена. Модель предназначена для семантического поиска, извлечения документов, сравнения предложений и подбора текстов по смыслу, в том числе как компонент систем RAG. В карточке приведены результаты оценок MTEB, BEIR, LoCo и COIR; они показывают эффективность на задачах поиска, включая поиск по длинным документам и коду. Доступны веса в форматах PyTorch, Safetensors и ONNX; для интеграции описано использование Transformers, Sentence Transformers и Text Embeddings Inference. Модель распространяется по лицензии Apache-2.0. Она рассчитана прежде всего на английский язык, поэтому качество для других языков не подтверждено карточкой.

jina-embeddings-v5-text-small-text-matching — компактная модель векторных представлений текста от Jina AI, предназначенная для сопоставления текстов и оценки их семантической близости. Модель является квантизированной версией jinaai/jina-embeddings-v5-text-small и обучалась с использованием дистилляции и специализированных контрастивных функций потерь. Модель содержит 677 млн параметров, поддерживает многоязычные тексты и обрабатывает последовательности длиной до 32 768 токенов. Она формирует эмбеддинги размерностью 1024 с использованием pooling по последнему токену. Поддерживаются уменьшенные Matryoshka-размерности: 32, 64, 128, 256, 512 и 768, что позволяет выбирать компромисс между качеством и затратами на хранение и поиск. Модель подходит для семантического поиска, дедупликации, кластеризации, ранжирования и других задач сопоставления текстов. К сильным сторонам относятся компактность, высокая производительность для своего размера, многоязычность, длинный контекст и возможность гибко сокращать размер эмбеддинга. Ограничение модели — специализация на text-matching: README не заявляет её оптимизацию для генерации текста или иных задач. Для использования требуется совместимое программное окружение, включая transformers, PyTorch и, в зависимости от способа запуска, vLLM, sentence-transformers или Text Embeddings Inference. Лицензия — CC BY-NC 4.0, допускающая использование с ограничениями, включая некоммерческий характер применения.

Это версия модели LFM2.5-1.2B-Instruct, созданная Ричардом Янгом (DeepNeuro) с помощью Heretic v2.0.0.dev0. Веса изменены методом abliteration: автор сообщает, что модель стала значительно реже отказывать, без повторного обучения. Это компактная текстовая модель семейства LFM2 для локального диалога и запуска на устройствах с ограниченными ресурсами; архитектура базовой модели сочетает свёрточные блоки и блоки внимания. В репозитории указано 1,5 млрд параметров, а для исходной модели — 1,17 млрд; метаданные каталога указывают контекст 128 000 токенов, тогда как README базовой модели приводит 32 768 токенов. Модель предназначена для диалога, творческого письма, обучения методам выравнивания, извлечения данных и RAG; исходная модель также рассчитана на агентные сценарии и вызов инструментов. Карточка сообщает о поддержке английского, арабского, китайского, французского, немецкого, японского, корейского и испанского языков. Автор приводит снижение доли отказов с 98 до 3 на тесте из 100 запросов и низкую KL-дивергенцию относительно исходной модели. Это результаты, заявленные в карточке, а не независимая оценка. Модель может отвечать на запросы, которые отвергает исходная версия; её лицензия указана как other, поэтому условия использования следует сверять с карточкой репозитория.

Orion-zhen разработал чат-модель Orion-zhen/Llama3-70B-Orion-Chinese на основе failspy/Llama-3-70B-Instruct-abliterated-v3, дообучив её методом DPO. Это плотная авторегрессионная модель семейства Llama 3 с 69,5 млрд параметров, контекстом 8192 токена и поддержкой диалога; карточка демонстрирует ответы на китайском языке с более оживлённой подачей и частым использованием эмодзи. Модель предназначена для диалога на китайском, рассуждений, ответов на вопросы и генерации кода. В README приведены примеры решения математических и логических задач, бытовых вопросов, анализа эмоций и написания кода. Метаданные также связывают обучение с наборами предпочтений для китайского и английского диалога, математики, физического рассуждения, кода и других ответов. Файлы опубликованы в формате Safetensors. Лицензия — Llama 3; применимость и условия использования следует сверять с её условиями. Примеры README показывают возможные ошибки в рассуждениях и небезопасные советы, поэтому ответы требуют проверки; инструкция по расширению контекста до 32k в карточке не подтверждена как штатная длина контекста модели.

MIMO-xlm-roberta-large — мультиязычная модель Sentence Transformers, дообученная автором yjoonjang на FacebookAI/xlm-roberta-large. Она преобразует предложения и абзацы в плотные векторы размерности 1024; сходство оценивается косинусной мерой. Архитектура включает XLM-RoBERTa large и mean pooling. В README указана максимальная длина последовательности 256 токенов, а в метаданных — контекст 514 токенов. Модель предназначена для семантического поиска и сравнения текстов, поиска перефразирований, классификации и кластеризации. В README приведены результаты тестирования поиска на NanoMIRACL для десяти языков, включая русский. Метаданные указывают размер модели 658,7 млн параметров и формат Safetensors. Лицензия в предоставленных данных не указана.

schaitanya/modernbert-embed-base-transcript-documents-v1 — англоязычная модель Sentence Transformers, дообученная на парах запросов и релевантных документов, включая транскрипты. Она кодирует предложения и абзацы в нормализованные плотные векторы размерностью 768 для семантического поиска, сравнения текстов и извлечения релевантных документов; сходство оценивается косинусной мерой. В основе лежит ModernBERT с архитектурой среднего пулинга токенов и контекстом до 8192 токенов по метаданным; карточка модели указывает максимальную длину последовательности 1024 токена. Модель содержит 149 млн параметров и распространяется в формате safetensors. Модель подходит для поиска по транскриптам и документам, сопоставления коротких запросов с длинными текстами, поиска перефразировок, кластеризации и классификации текстов на основе эмбеддингов. В обучающей выборке — 6116 пар «запрос — положительный документ»; приведённые в карточке метрики поиска показывают cosine_accuracy@1 0,5191, @3 0,7441 и @5 0,8. Поддерживается английский язык. Лицензия — Apache-2.0.

Карточка модели thuan220401/multilingual-e5-large на Hugging Face совпадает с карточкой intfloat/multilingual-e5-large, поэтому описание составлено по ней. Multilingual-E5-large — многоязычная модель эмбеддингов текста, опубликованная intfloat; её технический отчёт подготовили Liang Wang, Nan Yang, Xiaolong Huang, Linjun Yang, Rangan Majumder и Furu Wei. Модель основана на XLM-RoBERTa-large и имеет 24 слоя с размерностью эмбеддинга 1024. Она принимает текст и выдаёт векторные представления для поиска и сравнения текстов. Модель предназначена для межъязыкового и многоязычного поиска, ранжирования passage по запросу, оценки семантического сходства, поиска перефразировок и использования эмбеддингов в кластеризации или классификации. При обучении текстовые роли задаются префиксами `query:` и `passage:`; их следует выбирать в соответствии со сценарием, иначе качество может снизиться. Поддерживаются 100 языков XLM-RoBERTa, включая русский, однако для языков с небольшим объёмом ресурсов качество может быть ниже. Вход ограничен 512 токенами, а более длинный текст обрезается. Лицензия — MIT.

Модель agentlans/multilingual-e5-small-aligned-v2 — мультиязычная модель эмбеддингов на базе Sentence Transformers, разработанная как дообучение agentlans/multilingual-e5-small-aligned. Она преобразует предложения и абзацы в плотные векторы размерности 384 для семантического сравнения и поиска; близость векторов оценивается косинусным сходством. Модель использует архитектуру BERT с усреднением токенных представлений и нормализацией выходного вектора. Максимальная длина последовательности — 512 токенов. Дообучение проводилось на парах предложений из Tatoeba, включая примеры на разных языках; модель выравнивает представления переводов, чтобы их векторы были близки. Подходит для семантического поиска, поиска перефразирований, кластеризации и классификации текста на основе эмбеддингов. Репозиторий распространяется по лицензии MIT.

mythos-v2-8b-merged — текстовая генеративная модель, разработанная King3Djbl на основе King3Djbl/mythos-v2-8b с использованием дообучения. Модель входит в экосистему FableForge и ориентирована на агентские сценарии, включая использование инструментов, вызов функций, работу с shell-командами, программирование, ролевые диалоги и генерацию текста. Заявлена поддержка английского языка. Модель имеет размер 8B параметров и распространяется в формате GGUF, совместимом с llama.cpp, Ollama и LM Studio. Доступны варианты от F16 до низкобитных квантований, включая Q8_0, Q6_K, Q5_K_M, Q4_K_M и imatrix-квантизации для систем с ограниченной оперативной памятью. Для диалогов используется формат ChatML. Размер контекста в README не указан. К сильным сторонам относятся широкий набор заявленных агентских возможностей, поддержка инструментального взаимодействия и наличие большого выбора квантований с разным компромиссом между качеством и требованиями к памяти. При этом README не содержит результатов бенчмарков, подробностей об архитектуре, данных обучения или проверок качества, поэтому фактические возможности и надежность модели требуют самостоятельной оценки. Также заявлен режим без отказов, что может повышать гибкость в ролевых и автоматизационных сценариях, но требует осторожности при использовании. Модель распространяется по лицензии Apache-2.0.

paraphrase-multilingual-mpnet-base-v2 — многоязычная модель Sentence Transformers, обученная командой sentence-transformers. Она преобразует предложения и абзацы в плотные векторы размерности 768, пригодные для семантического поиска, сравнения сходства и кластеризации текстов. Архитектура основана на XLM-RoBERTa; модель содержит 305,2 млн параметров и поддерживает контекст до 514 токенов. Модель подходит для поиска семантически близких фрагментов и группировки текстов на разных языках. Она доступна в форматах PyTorch, Safetensors, TensorFlow, ONNX и OpenVINO. Лицензия — Apache-2.0. Результат модели — векторное представление текста, поэтому для получения оценки сходства или поиска требуется сравнить векторы подходящим методом.

legraphista/Qwen2.5-Coder-1.5B-Instruct-IMat-GGUF — это GGUF-квантизированная версия инструкционно дообученной модели Qwen/Qwen2.5-Coder-1.5B-Instruct. Квантование выполнено legraphista с использованием llama.cpp и метода IMatrix; исходный формат модели — BF16. README не уточняет команду или организацию, разработавшую базовую модель Qwen2.5-Coder. Модель предназначена для генерации текста и работы с программным кодом в диалоговом формате: написания, дополнения и объяснения кода, а также выполнения инструкций, связанных с разработкой. Указан английский язык. Это текстовая модель без заявленной поддержки изображений или других модальностей. Размер базовой модели — 1,5 млрд параметров, однако сведения об архитектуре и размере контекстного окна в README отсутствуют. Доступны варианты GGUF от BF16 и FP16 до квантований Q8_0, Q6_K, Q5_K, Q4_K, Q3_K и Q2_K; для ряда вариантов применена IMatrix. Квантированные файлы занимают примерно от 676 МБ до 1,65 ГБ, что делает модель пригодной для локального запуска при ограниченных ресурсах. Более агрессивное квантование уменьшает требования к памяти, но может снижать точность и качество генерации. Модель распространяется по лицензии Apache-2.0.

RedHatAI/Qwen2.5-VL-7B-Instruct-quantized.w8a8 — это квантованная версия мультимодальной модели Qwen/Qwen2.5-VL-7B-Instruct, разработанная Neural Magic. Модель принимает текст, изображения и видео, а генерирует текстовые ответы; она предназначена для задач визуального анализа и работы с текстом, включая ответы на вопросы по изображениям, анализ документов, графиков и визуальных материалов. Модель имеет архитектуру Qwen2.5-VL-7B-Instruct и использует 8-битное квантование весов и активаций по схеме W8A8, что снижает требования к ресурсам при инференсе. В README указана поддержка английского языка, однако полный набор языков не описан. Приведённый пример рассчитан на контекст до 4096 токенов и развёртывание через vLLM версии 0.5.2 или новее; также доступна совместимая с OpenAI схема сервинга через vLLM. К сильным сторонам относятся мультимодальность, оптимизация INT8 для эффективного инференса и готовность к использованию в vLLM. Ограничения включают возможные потери качества из-за квантования, а также отсутствие в предоставленных данных подробных результатов оценки, точных требований к оборудованию и исчерпывающего описания поддерживаемых языков. Модель распространяется по лицензии Apache-2.0.

Qwen3-0.6B-MLX-4bit — компактная 4-битная версия причинной языковой модели Qwen3, разработанной командой Qwen. Модель предназначена для генерации текста, диалогов, следования инструкциям, перевода, решения математических и логических задач, написания кода и сценариев с использованием внешних инструментов. Вариант MLX ориентирован на запуск через библиотеку mlx_lm. Модель содержит 0,6 млрд параметров, из которых 0,44 млрд приходятся не на embedding-слои. Архитектура включает 28 слоёв и Grouped Query Attention с 16 головами запросов и 8 головами ключей и значений. Контекстное окно составляет 32 768 токенов. Поддерживаются более 100 языков и диалектов. Модель позволяет переключаться между режимом рассуждений, генерирующим содержимое в блоке <think>, и более быстрым нерешающим режимом для повседневного диалога. К сильным сторонам относятся небольшой размер, 4-битное представление, поддержка многоязычных задач, следования инструкциям и двух режимов работы. Ограничением является существенно меньший масштаб по сравнению с крупными моделями Qwen3, поэтому для сложных задач качество может быть ниже; в README также не приведены конкретные результаты тестов и требования к оборудованию. Для режима рассуждений рекомендуются вероятностные параметры генерации, а жадное декодирование не рекомендуется из-за возможного ухудшения качества и повторов. Модель распространяется по лицензии Apache 2.0.

Набор GGUF-квантизаций модели Qwen3.6-35B-A3B, разработанной командой Qwen и опубликованной в формате quantized derivative weights пользователем jimbothigpen. Модель имеет архитектуру Mixture-of-Experts: около 35 млрд параметров всего и примерно 3 млрд активных параметров на токен. Набор предназначен для локального запуска и сравнения качества, perplexity и производительности разных форматов квантизации через llama.cpp-совместимые бэкенды. Репозиторий включает исходный вариант BF16 и широкий диапазон форматов от IQ1 до Q8_0, включая IQ-K, K-quants, legacy-типы и WHT3_0/WHT4_0. При большинстве квантизаций используется единая importance matrix, рассчитанная на полном калибровочном корпусе calibration_datav3; это помогает снизить потерю качества при низкой разрядности. Также доступен отдельный vision projector в формате F16, поэтому модель поддерживает мультимодальные сценарии с изображениями при использовании совместимой конфигурации. Ограничения зависят от выбранного формата: BF16 занимает около 69 ГБ, а даже компактные варианты требуют несколько гигабайт памяти. Основные форматы работают в стандартном llama.cpp, тогда как IQ-K, KS, KT, KL и KSS требуют совместимой сборки семейства ik_llama.cpp, а WHT-форматы — сборки jimbothigpen/llama.cpp или другой реализации с поддержкой WHT. Производитель и поддерживаемые языки, размер контекста и конкретные возможности базовой модели в README не указаны. Производные веса распространяются по лицензии Apache-2.0.

Qwen3.8-Flash-Next-Uncensored-NVFP4 — квантизированная версия модели Qwen3.8-Flash-Next, разработанной Qwen и опубликованной OrcaRouter. Это мультимодальная Mixture-of-Experts-модель для работы с текстом и изображениями, рассуждений, вызова инструментов, функционального вызова, исследовательского red-teaming и анализа механизмов отказа моделей. Модель представляет preview-архитектуры Qwen4 и поддерживает английский и китайский языки. Архитектура включает 512 экспертов, из которых для каждого запроса активируются 10 маршрутизируемых и 1 общий эксперт, Gated DeltaNet linear attention, Qwen Sparse Attention, HyperConnections и PLE n-gram embeddings. Экспертные веса сжаты в NVFP4 с точностью 4 бита, attention и общие экспертные веса — в FP8, а отдельные компоненты, включая эмбеддинги, vision tower и нормализации, сохранены в bf16. Размер хранения сокращён примерно с 330 ГБ в bf16 до 178 ГБ; KV-кэш во время работы остаётся в bf16. Главное преимущество модели — значительное снижение требований к памяти при сохранении полноточных путей в важных компонентах, а также встроенная поддержка vision, reasoning и tool calling. Ограничения включают необходимость GPU с архитектурой Blackwell и FP4 tensor cores; Hopper и более старые GPU не поддерживаются. Для запуска нужны свежие версии vLLM с архитектурой qwen4_exp и compressed-tensors NVFP4, а мультимодальный режим зависит от поддержки vision-стека Qwen. Из модели удалена значительная часть safety alignment методом abliteration, поэтому она может выполнять вредоносные или незаконные запросы, от которых исходная модель отказалась бы. Модель предназначена только для легитимных исследований; перед практическим развёртыванием необходимы собственные фильтры безопасности и модерация. Лицензия — Apache 2.0, унаследованная от базовой модели.

AtomicChat/Qwen3-Coder-30B-A3B-GGUF — это GGUF-квантизованная версия инструкционной модели Qwen3-Coder-30B-A3B-Instruct, разработанной Qwen и самостоятельно преобразованной и откалиброванной командой Atomic Chat. Модель предназначена для генерации текста и прежде всего ориентирована на программирование, агентное написание кода, использование инструментов и сценарии агентского браузинга. Она может работать полностью локально и офлайн через llama.cpp, Ollama, LM Studio, Jan и другие совместимые среды. Модель использует текстовую модальность и архитектуру Mixture-of-Experts с 30,5 млрд параметров, 48 слоями и 128 экспертами, из которых для каждого токена маршрутизируются 8. Архитектура указана как Qwen3MoeForCausalLM; используется 32 attention heads и 4 KV heads. Максимальная длина контекста составляет 262 144 токена, размер словаря — 151 936. Репозиторий содержит варианты квантования от Q2_K до Q8_0, включая кванты с importance matrix; Q4_K_M обозначен как рекомендуемый баланс размера, скорости и качества, а Q8_0 — как вариант с практически эталонным качеством. Сильными сторонами являются специализация на задачах программирования, поддержка агентских сценариев и снижение требований к памяти благодаря квантованию с importance matrix. К ограничениям относятся неизбежная потеря качества на низких уровнях квантования, значительные требования к оперативной или видеопамяти даже для компактных вариантов и необходимость включать параметр --jinja для корректного применения шаблона чата Qwen3 Coder. Модель работает только с текстом; сведения о поддерживаемых естественных языках в README не указаны. Исходная модель и производные GGUF-файлы распространяются по лицензии Apache 2.0.

Qwen3-Coder-30B-A3B-Instruct-MLX-4bit — 4-битная квантованная версия модели Qwen3-Coder-30B-A3B-Instruct, разработанной командой Qwen. Квантование выполнено командой LM Studio с использованием MLX; модель оптимизирована для запуска на устройствах с Apple Silicon. Модель предназначена для генерации текста и, судя по названию исходной модели, ориентирована на задачи, связанные с программированием, однако README не содержит подробностей о поддерживаемых языках программирования, естественных языках, архитектуре, размере активной части модели, контекстном окне или доступных модальностях. Указан только формат text-generation и 4-битное представление, которое снижает требования к памяти и делает локальный запуск на Apple Silicon более практичным, но может влиять на точность по сравнению с полной версией. Модель распространяется по лицензии Apache-2.0. LM Studio не является создателем исходной модели и не гарантирует её точность, безопасность или пригодность для конкретных задач; результаты могут быть ошибочными или неподходящими и требуют проверки.

Карточка модели zhlo/Qwen3-Embedding-0.6B-deploy на Hugging Face совпадает с карточкой woodx/Qwen3-Embedding-0.6B-SGLang, поэтому описание составлено по ней. Qwen3-Embedding-0.6B-SGLang — дообученная модель семейства Qwen3, представленная в репозитории woodx и основанная на Qwen/Qwen3-0.6B-Base. Она преобразует текст в эмбеддинги для семантического поиска и сопоставления текстов. Модель содержит около 507,6 млн параметров, поддерживает контекст до 32 768 токенов и формирует векторы размерностью от 32 до 1024 с возможностью задавать инструкцию под задачу. Модель предназначена для многоязычного поиска по текстам и коду, классификации и кластеризации текстов, поиска параллельных фрагментов на разных языках и задач семантического сходства. В карточке серии заявлена поддержка более 100 языков. Для улучшения результатов поиска рекомендуется задавать подходящую инструкцию; в многоязычных сценариях авторы советуют формулировать её на английском. Репозиторий содержит веса в формате safetensors и распространяется по лицензии Apache-2.0.

Карточка модели lvandy/Qwen3-Embedding-8B на Hugging Face совпадает с карточкой Qwen/Qwen3-Embedding-8B, поэтому описание составлено по ней. Qwen3-Embedding-8B — текстовая модель эмбеддингов семейства Qwen3, разработанная командой Qwen. Это плотная архитектура Qwen3ForCausalLM с 7,6 млрд параметров, дообученная на базе Qwen/Qwen3-8B-Base для получения векторных представлений текста. Модель предназначена для семантического поиска и ранжирования, а также поддерживает классификацию, кластеризацию, поиск по коду и межъязыковой поиск. Модель поддерживает более 100 естественных и программных языков, обрабатывает длинные последовательности с контекстом до 40 960 токенов по метаданным и выдаёт эмбеддинги размерностью до 4096; README также сообщает о настройке выходной размерности от 32 до 4096. Можно задавать инструкции для конкретной задачи, языка или сценария. Модель рассчитана на получение векторов из текста; метаданные также отмечают возможности чата и интерфейс вызова инструментов, но основной сценарий этой версии — эмбеддинги. По данным карточки, версия 8B заняла первое место в мультиязычном рейтинге MTEB на 5 июня 2025 года с результатом 70,58. Для некоторых задач retrieval README отмечает снижение качества примерно на 1–5% без подходящей инструкции. Для работы с поддержкой Qwen3 требуется Transformers 4.51.0 или новее. Лицензия — Apache-2.0.

Qwen3-VL-32B-Abliterated-xCloud-GGUF — мультимодальная vision-language модель, разработанная xCloudinfo (云硕科技) на основе Qwen/Qwen3-VL-32B-Instruct. Модель предназначена для задач понимания и генерации текста по текстовым и визуальным входным данным, включая анализ изображений, исследовательские и академические сценарии, контент-модерацию, легальные исследования информационной безопасности и red team-тестирование. Модель распространяется в формате GGUF с вариантами квантования Q4_K_M, Q5_K_M, Q6_K и Q8_0; размер файлов составляет примерно от 19,8 до 34,8 ГБ. Для работы с изображениями требуется отдельный визуальный проектор mmproj в формате F16 размером около 1,2 ГБ. Поддерживаются китайский и английский языки; отдельно заявлено сохранение качества вывода на традиционном китайском. Контекст модели в README не указан. Ключевая особенность — abliteration: без дополнительного обучения из весов удаляется направление, связанное с чрезмерными отказами, методом ортогонализации, основанным на работе Arditi et al. (2024). В заявленном тесте из 10 опасных запросов доля отказов снизилась примерно с 10/10 у исходной модели до 1/10 у версии Q4_K_M, при сохранении обычных задач и визуального понимания. Это не означает полного удаления механизмов безопасности; модель может быть менее склонна к отказам и требует ответственного применения. Её фактические ограничения, включая возможные ошибки, унаследованы от базовой Qwen3-VL, а мировоззренческие и ценностные особенности не изменялись. Модель лицензирована по Apache-2.0. README ограничивает её использование законными и ответственными сценариями и возлагает юридическую и этическую ответственность за применение на пользователя.

gemasphi/setfit-ss-paraphrase-multilingual-mpnet-base-v2 — модель Sentence-Transformers на архитектуре XLM-RoBERTa, которая преобразует предложения и абзацы в плотные векторы размерности 768. Она предназначена для поиска семантически похожих текстов, семантического поиска и кластеризации; сходство между текстами можно оценивать по их векторам. Обучение использовало CosineSimilarityLoss. Модель содержит 305,2 млн параметров и принимает текстовые последовательности длиной до 514 токенов. Доступны веса PyTorch. Метаданные не содержат явных кодов языков, однако название и назначение модели указывают на мультиязычные paraphrase embeddings. Лицензия в предоставленных данных не указана.