II.1Анализ требований и архитектура ПО

EmbeddingGemma 300M — открытая модель для получения векторных представлений текста, разработанная Google DeepMind. Она построена на основе Gemma 3 с инициализацией T5Gemma и предназначена для задач семантического поиска и извлечения информации, классификации, кластеризации и вычисления семантического сходства. Модель содержит около 300 млн параметров и ориентирована на локальное использование на мобильных устройствах, ноутбуках и настольных компьютерах. Она принимает текстовые строки длиной до 2048 токенов и возвращает эмбеддинги размерностью 768. Благодаря Matryoshka Representation Learning размерность можно сократить до 512, 256 или 128 с последующей нормализацией. Модель обучалась на данных объёмом около 320 млрд токенов, включая более 100 языков, веб-документы, код, технические материалы и синтетические данные для задач поиска, классификации и анализа тональности. К сильным сторонам относятся небольшой размер, мультиязычность, поддержка широкого спектра сценариев работы с текстовыми эмбеддингами и возможность эффективного развёртывания на устройствах с ограниченными ресурсами. Ограничением является максимальная длина входа 2048 токенов; активации модели не поддерживают float16, поэтому рекомендуется использовать float32 или bfloat16. Веса рассчитаны на применение с Sentence Transformers и реализацией Gemma 3 в Hugging Face Transformers. Модель распространяется по лицензии Gemma; условия использования определяются соответствующими Terms of Use Google.

EmbeddingGemma — компактная модель эмбеддингов Google DeepMind на 302,8 млн параметров, построенная на Gemma 3 с инициализацией T5Gemma. Она принимает текст и преобразует его в векторы размерностью 768, которые можно сократить до 512, 256 или 128 измерений с помощью Matryoshka Representation Learning. Максимальная длина входа — 2048 токенов; модель предназначена для работы с Sentence Transformers и ориентирована на запуск на мобильных устройствах и компьютерах с ограниченными ресурсами. Модель подходит для семантического поиска и извлечения документов, оценки сходства текстов, классификации и кластеризации, а также для поиска фрагментов кода по текстовым запросам и подбора источников для систем ответов на вопросы. Обучение охватывало более 100 языков и включало веб-тексты, код, техническую документацию и данные для задач поиска и классификации. Модель выдаёт векторы, а не готовые ответы на вопросы. Качество зависит от охвата обучающих данных; возможны трудности с нюансами, сарказмом и переносными смыслами, а обучающие данные могут содержать смещения. Лицензия — Gemma; использование регулируется условиями Google и политикой запрещённого использования Gemma.

Модель armand0e/Gemma-4-E4B-it-DeepSeek-v4-Distill — дообученная на базе unsloth/gemma-4-E4B-it мультимодальная модель семейства Gemma 4 с плотной архитектурой Gemma4ForConditionalGeneration. Автор карточки указывает, что модель обучалась с использованием Unsloth и библиотеки Hugging Face TRL. Модель предназначена для диалога и генерации ответов по текстовым и визуальным входам; метаданные также отмечают поддержку интерфейса вызова инструментов. Базовая Gemma 4 E4B Instruct описана как подходящая для анализа изображений, документов, программирования и других текстовых задач, но отдельные возможности этой версии подробно не подтверждены карточкой. Модель распространяется в формате safetensors по лицензии Apache-2.0. Карточка не сообщает размер контекста и подробные результаты оценки качества; практическое качество дистилляции DeepSeek в README не раскрыто.

German-RAG-UAE-LARGE-V1-TRIPLES-MERGED-HESSIAN-AI — модель Sentence Transformers от команды German-RAG AI, обученная на наборе примерно из 300 тысяч триплетов и объединённая с WhereIsAI/UAE-Large-V1 для сохранения качества на других языках. Она преобразует предложения и абзацы в плотные векторы размерности 1024 и предназначена для семантического поиска, оценки сходства и извлечения релевантных текстов; также может применяться для кластеризации, поиска перефразирований и классификации текста. Модель построена на BERT, использует CLS-пулинг и нормализацию векторов, а сходство рекомендуется оценивать косинусной мерой. Максимальная длина входа — 512 токенов. В карточке приведены результаты проверок на немецких задачах классификации, поиска и семантического сходства, а также на многоязычных наборах. Доступна по лицензии MIT.

Giga Embeddings 0826 3B GGUF — модель для получения текстовых эмбеддингов, основанная на ai-sage/Giga-Embeddings-instruct-3B-0826. GGUF-версии независимо конвертированы и квантованы командой ai-babai; это не официальный релиз ai-sage. Модель ориентирована прежде всего на русский и английский языки и предназначена для локального запуска через llama.cpp и Ollama. Модель подходит для семантического поиска, RAG, оценки сходства текстов, кластеризации, классификации и retrieval-сценариев. Она использует двунаправленную архитектуру, возвращает нормализованные эмбеддинги размерностью 2048 и применяет mean pooling, заданный в метаданных GGUF. Для поиска рекомендуется добавлять инструкцию к запросам, а документы кодировать как обычный текст; для симметричных задач следует использовать одинаковую инструкцию для обеих сторон или не использовать инструкции. Доступны варианты BF16, Q8_0, Q6_K и Q4_K_M. Q8_0 указан как рекомендуемый баланс качества и размера, BF16 является эталонной высокоточной версией, а Q4_K_M — экспериментальным облегчённым вариантом. Модель предназначена только для эмбеддингов и не генерирует текст. Приведённые авторами показатели MTEB относятся к исходной BF16-модели, тогда как полный независимый прогон MTEB для GGUF-версий не выполнялся. Модель распространяется по лицензии MIT.

GLiNER-relex-large-v1.0 — модель семейства GLiNER для совместного извлечения именованных сущностей и отношений из текста. Она построена на архитектуре GLiNER с единым энкодером: модель находит фрагменты сущностей, формирует возможные пары сущностей и классифицирует отношения между ними с помощью графовых свёрточных слоёв. Размер модели и языки в предоставленных данных не приведены. Модель рассчитана на zero-shot извлечение: при каждом запросе можно задавать собственные типы сущностей и отношений, в том числе текстовые описания меток, чтобы уточнить их смысл. Она выполняет обе задачи за один проход, поддерживает извлечение сущностей без отношений, пакетную обработку и экспорт в ONNX. Подходит для построения графов знаний, анализа документов, автоматической разметки корпусов и подготовки структурированных данных для систем вопросов и ответов. Для использования требуется библиотека GLiNER. Модель распространяется по лицензии Apache-2.0. README рекомендует настраивать пороги отдельно для сущностей, смежности и отношений; качество зависит от выбранных схем и порогов. Эксплуатационные ограничения и перечень поддерживаемых языков в предоставленных данных не описаны.

jina-embeddings-v5-text-small — мультиязычная плотная модель эмбеддингов пятого поколения от Jina AI, предназначенная для преобразования текста в векторы. Она дообучена на базе Qwen/Qwen3-0.6B-Base с дистилляцией эмбеддингов Qwen3-Embedding-4B и контрастивным обучением для отдельных задач. В README указано 677 млн параметров, а в метаданных — 507,9 млн; максимальная длина последовательности составляет 32 768 токенов. Модель подходит для семантического поиска и извлечения документов, сопоставления текстов, кластеризации и классификации. По карточке она поддерживает более 119 языков, а в бенчмарках показывает 71,7 на MTEB English v2 и 67,7 на MMTEB. Эмбеддинги рассчитаны на устойчивую работу при усечении текста и бинарном квантовании. Для ускорения инференса рекомендуется flash-attention, но она не обязательна; доступно использование через Transformers, Sentence Transformers и Elastic Inference Service. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение.

Llama-3.2-1B-Instruct-GGUF — квантизированная версия инструкционной языковой модели Meta Llama 3.2 1B Instruct, подготовленная bartowski. Модель предназначена для генерации текста и выполнения инструкций в сценариях локального или ресурсно-ограниченного вывода, включая диалоговые приложения и другие задачи обработки естественного языка. Из доступных данных известно, что это текстовая модель с архитектурой семейства Llama 3.2 и размером 1 млрд параметров в базовой версии; формат GGUF ориентирован на эффективный запуск средствами, поддерживающими этот формат. Заявлена поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. Мультимодальность и размер контекстного окна в README не указаны. Небольшой размер является преимуществом для локального использования, однако по сравнению с более крупными моделями может ограничивать качество сложного рассуждения, точность и устойчивость ответов. Модель распространяется по Llama 3.2 Community License компании Meta. Лицензия разрешает использование, воспроизведение, распространение и создание производных работ на указанных условиях, включая соблюдение Acceptable Use Policy. При распространении материалов необходимо предоставить копию лицензии, сохранить требуемое уведомление об авторстве и разместить обозначение «Built with Llama» в связанном интерфейсе или документации; для продуктов с более чем 700 млн активных пользователей в месяц предусмотрены дополнительные лицензионные требования.

MathCoder2-CodeLlama-7B-GGUF — это набор GGUF-квантизованных версий модели MathGenie/MathCoder2-CodeLlama-7B, разработанной MathGenie и подготовленной пользователем bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста, решения математических задач и работы с программным кодом. Указан английский язык и обучающий набор MathGenie/MathCode-Pile. Модель основана на CodeLlama и содержит около 7 миллиардов параметров. Доступны варианты от F16 до низкобитных форматов Q8, Q6, Q5, Q4, Q3 и IQ; размер файлов составляет примерно от 2,8 до 13,48 ГБ. Это текстовая модель без заявленной поддержки мультимодальности. Формат GGUF ориентирован на локальный запуск, в частности через llama.cpp и LM Studio. Формат промпта в README не указан, а размер контекстного окна не приведён. Основное преимущество модели — специализация на математике и коде при возможности локального запуска с выбором компромисса между качеством и требованиями к памяти. Более высококачественные варианты Q6 и Q5 отмечены как рекомендуемые, тогда как варианты Q3 и некоторые устаревшие форматы обеспечивают экономию памяти за счёт снижения качества. Для ARM доступны отдельные варианты, требующие поддержки SVE или i8mm; их не рекомендуется использовать на Mac и Windows. Модель распространяется по лицензии Apache-2.0.

Ministral-3-14B-Instruct-2512-GGUF — это конвертированная в формат GGUF версия модели Ministral-3-14B-Instruct-2512-BF16, разработанной Mistral AI. Модель предназначена для инструкционного взаимодействия и задач преобразования изображений и текста в текст, включая мультимодальные сценарии, где на вход подаются текстовые и визуальные данные. Точная специализация, поддерживаемые языки и размер контекста в README не указаны. Модель имеет размер 14B параметров и поставляется в формате GGUF, ориентированном на запуск с совместимыми инструментами, включая llama-server. Сильной стороной является возможность локального или самостоятельного развертывания в поддерживаемой GGUF-инфраструктуре, однако README не содержит сведений о производительности, требованиях к ресурсам, конкретных поддерживаемых модальностях, ограничениях и качестве на отдельных задачах. Лицензия — Apache 2.0.

InterSync разработала дообученную версию Mistral-7B-Instruct-v0.2 с поддержкой вызова функций. Это плотная авторегрессионная модель семейства Mistral на 7,1 млрд параметров; она принимает текстовые сообщения и генерирует текст, включая структурированные вызовы внешних функций в диалоге. Контекст модели составляет 32 768 токенов. Модель предназначена для диалоговых приложений, которым нужно направлять запросы к внешним API, искать сведения в интернете или пользовательских базах данных и использовать полученные данные для ответов и кратких объяснений. Такие функции выполняются через интеграцию с инструментами приложения. Модель представлена в формате Safetensors и распространяется по лицензии CC. README описывает поддержку вызова функций, но не приводит результаты оценки качества; точная совместимость с конкретными схемами инструментов и API зависит от интеграции.

mmBERT-32K-YaRN — многоязычная модель семейства ModernBERT, разработанная для семейства vLLM Semantic Router Mixture-of-Models на основе jhu-clsp/mmBERT-base. Контекстное окно расширено с 8 192 до 32 768 токенов с помощью масштабирования RoPE методом YaRN. Модель содержит около 307 млн параметров и предназначена для заполнения масок в тексте; её также можно применять для понимания длинных документов, семантической маршрутизации запросов, классификации документов и поиска информации в длинных текстах. Модель обучалась на многоязычном корпусе CC-100. В карточке указана поддержка более 1 800 языков базовой модели, а метаданные перечисляют английский, немецкий, французский, испанский, китайский, японский, русский, арабский, корейский и португальский. Доступны веса Safetensors и экспорт ONNX; лицензия — MIT. По данным карточки, точность извлечения существенно снижается для удалённых фрагментов дальше 2 048 токенов, несмотря на окно в 32 768 токенов. Для полного контекста требуется значительный объём видеопамяти — около 180 ГБ на один пример. Данные CC-100 могут наследовать смещения веб-краула.

MoD-Embedding — текстовая модель эмбеддингов, созданная путём дообучения Qwen/Qwen3-Embedding-4B разработчиком bflhc. Она преобразует тексты в векторы для семантического поиска, извлечения информации, сравнения и кластеризации документов, межъязыкового поиска и классификации с использованием эмбеддингов. Модель имеет плотную архитектуру Qwen3, около 3,7 млрд параметров и размерность эмбеддингов 2560; для запуска указана библиотека Sentence Transformers. Метаданные указывают контекст до 40 960 токенов, README — максимальную длину последовательности 32 768 токенов. Поддерживаются английский, китайский и другие языки. Модель ориентирована на задачи поиска и сопоставления текстов и выдаёт эмбеддинги; она не предназначена для генерации текста. README отмечает, что качество может различаться в зависимости от предметной области и языка, а для очень длинных документов может потребоваться усечение. Лицензия — Apache-2.0.

Multilingual-E5-base — модель текстовых эмбеддингов на архитектуре XLM-RoBERTa, основанная на xlm-roberta-base и дополнительно обученная на смеси многоязычных данных методом контрастивного обучения. В карточке указаны 12 слоёв и размер эмбеддинга 768; метаданные указывают около 305,2 млн параметров и контекст до 514 токенов. Модель предназначена для получения векторных представлений запросов и текстов, семантического сравнения, поиска и ранжирования документов, в том числе в многоязычных сценариях. Модель поддерживает 100 языков семейства XLM-RoBERTa; в метаданных явно перечислены языковые коды для части языков. Для асимметричного поиска следует добавлять к запросу префикс «query: », а к документу — «passage: »; для симметричных задач и получения признаков рекомендуется префикс «query: ». Длинные входы обрезаются до 512 токенов, а качество может быть ниже для языков с малым объёмом ресурсов. Репозиторий предоставляет веса в форматах PyTorch, Safetensors и ONNX; лицензия — MIT.

Карточка модели Hostage928/multilingual-e5-small на Hugging Face совпадает с карточкой intfloat/multilingual-e5-small, поэтому описание составлено по ней. Multilingual-E5-small — модель текстовых эмбеддингов, разработанная авторами технического отчёта Multilingual E5. Это компактная 12-слойная модель архитектуры BERT с 124,3 млн параметров и размерностью эмбеддингов 384; она инициализирована из microsoft/Multilingual-MiniLM-L12-H384 и дополнительно обучена на смеси многоязычных наборов данных. Модель преобразует тексты в векторы для поиска и сравнения по смыслу, включая межъязыковой поиск, поиск фрагментов для систем вопросов и ответов, семантическое сходство, подбор перефразировок и кластеризацию. Для разных типов текста следует использовать префиксы «query: » и «passage: » согласно сценарию; без них качество может снизиться. Поддерживаются 100 языков, однако качество для языков с малым количеством ресурсов может быть ниже. Контекст ограничен 512 токенами, длинные тексты обрезаются. В репозитории доступны форматы PyTorch, SafeTensors, ONNX и OpenVINO. Лицензия — MIT.

Mythos-nano — независимая открытая модель проекта squ11z1, дообученная на базе WeiboAI/VibeThinker-3B. Это текстовая авторегрессионная модель для генерации текста, ориентированная прежде всего на рассуждения, математические задачи и программирование. Указан английский язык; модель также позиционируется для задач на знания и следование инструкциям. Модель содержит около 3 млрд параметров и относится к семейству Qwen2 согласно тегам репозитория. В README не указаны точная архитектура, размер контекста и данные обучения. По приведённым результатам она демонстрирует сильные показатели на соревновательной математике и задачах программирования, включая LeetCode, а также хорошие результаты на отдельных тестах следования инструкциям и знаний. Для сложных задач рекомендуется генерировать до 40960 токенов с температурой 0,6–1,0. Модель не обучалась на данных для tool calling и агентского программирования, поэтому не рекомендуется для вызова функций, оркестрации API и автономных coding-агентов. В README также указано снижение защитных ограничений: удалено направление отказа, поэтому модель может не отклонять запросы, которые обычно блокируются моделями с настройкой безопасности. Доступны форматы для Transformers и GGUF, включая варианты для llama.cpp и Ollama. Лицензия MIT.

Карточка модели AarthShah/Nex-N2-mini на Hugging Face совпадает с карточкой nex-agi/Nex-N2-mini, поэтому описание составлено по ней. Nex-N2-mini — открытая агентная языковая модель компании Nex-AGI, дообученная на базе Qwen3.5-35B-A3B-Base. Она предназначена для разработки программного обеспечения, вызова инструментов, выполнения задач в терминале и исследований с поиском, включая длительные рабочие процессы с обратной связью от среды. Модель объединяет планирование, реализацию, проверку и отладку; заявлены адаптивная глубина рассуждений и согласованный подход к разным агентным задачам. Модель доступна в формате safetensors, работает с библиотекой Transformers и поддерживает диалог. В README описана поддержка function calling и явных трасс рассуждений; для локального развёртывания Nex-AGI рекомендует собственную сборку sglang. Для Nex-N2-mini приведён пример запуска на сервере с двумя H100. Лицензия — Apache-2.0. README заявляет результаты на агентных и программных бенчмарках, но часть таблицы опущена, а подробные показатели Nex-N2-mini в доступном тексте ограничены. Модель ориентирована на сложные агентные сценарии, поэтому её практическая эффективность зависит от окружения, инструментов и вычислительных ресурсов.

Карточка модели Openintelligent123/Phi-4-reasoning-plus на Hugging Face совпадает с карточкой microsoft/Phi-4-reasoning-plus, поэтому описание составлено по ней. Phi-4-reasoning-plus — открытая по весам языковая модель Microsoft Research, дообученная на базе microsoft/phi-4 с помощью supervised fine-tuning на цепочках рассуждений и последующего обучения с подкреплением. Это плотный decoder-only Transformer семейства Phi-3 с 14,1 млрд параметров и контекстом до 32 768 токенов; модель принимает текст и генерирует текст в диалоговом формате. Модель предназначена прежде всего для рассуждений и решения задач по математике, науке и программированию, а также для использования в генеративных ИИ-приложениях с ограничениями по памяти и вычислениям. Основной язык — английский. Обучение с подкреплением повышает точность, но в среднем модель генерирует примерно на 50% больше токенов, что увеличивает задержку. Microsoft предупреждает, что модель специально разработана и оценивалась для математических рассуждений, поэтому для других применений нужно отдельно проверять точность, безопасность и справедливость ответов. Модель распространяется по лицензии MIT.

google/pix2struct-ocrvqa-large — крупная модель семейства Pix2Struct от Google для ответов на вопросы по изображениям. Это архитектура «визуальный энкодер — текстовый декодер», обученная на парах изображение–текст и настроенная для задачи visual question answering. Модель принимает изображение и вопрос на естественном языке и генерирует текстовый ответ. Предварительное обучение Pix2Struct использует восстановление упрощённого HTML по скриншотам веб-страниц с замаскированными фрагментами. Такой подход охватывает визуальное понимание текста и элементов страниц и подходит для вопросов о содержимом изображений, включая документы, иллюстрации, интерфейсы и фотографии. В карточке модели указаны английский, французский, румынский и немецкий языки; README описывает семейство шире, но не уточняет языковую поддержку именно этого чекпойнта. Модель опубликована в формате PyTorch и распространяется по лицензии Apache-2.0. Для запуска нужны изображение и вопрос; конкретные требования к памяти и качество на отдельных языках или типах изображений в карточке не описаны.

drawais/Qwen2.5-Coder-32B-Instruct-NVFP4 — квантизированная версия Qwen2.5-Coder-32B-Instruct, разработанная на основе модели Qwen/Qwen2.5-Coder-32B-Instruct. Модель предназначена для генерации текста и задач, связанных с программированием, включая работу с кодом и использование в сценариях, поддерживаемых библиотекой Transformers и сервером инференса vLLM. Модель использует INT4-квантизацию весов в формате NVFP4 W4A4 и поддерживает нативный compressed-tensors в vLLM. Размер базовой модели составляет 32B параметров, объём артефакта на диске — примерно 20,7 ГБ; для работы требуется GPU с дополнительным запасом видеопамяти под KV-кэш. Указан английский язык, максимальная длина контекста в примере запуска через vLLM — 32 768 токенов. Ключевое преимущество модели — существенно уменьшенный объём хранения и потенциально более экономичный инференс по сравнению с полноразмерной версией благодаря 4-битной квантизации. Ограничения связаны с поддержкой только английского языка в заявленных данных, зависимостью от совместимой конфигурации vLLM и возможными потерями качества, характерными для квантизированных моделей. Артефакт является производной работой Qwen/Qwen2.5-Coder-32B-Instruct и распространяется по лицензии Apache License 2.0 с обязательной атрибуцией.

Qwen2.5-Coder-3B-Instruct — инструктивно дообученная языковая модель для программирования от команды Qwen. Она предназначена для генерации, объяснения и исправления кода, рассуждений о коде и создания кодовых агентов; также сохраняет общие способности и навыки решения математических задач. Модель построена на архитектуре Qwen2 с причинным декодированием и содержит около 3,1 млрд параметров. Модель принимает текстовые инструкции и выдаёт текст, включая код. Контекстное окно составляет 32 768 токенов. В карточке указано, что обучение охватывало исходный код, связку текста и кода и синтетические данные; метаданные указывают английский язык. Для загрузки рекомендуется актуальная версия библиотеки Transformers. Репозиторий использует формат safetensors и лицензию с обозначением «other»; конкретные условия следует проверять в файлах лицензии репозитория.

Qwen2.5-Coder-7B-Instruct — инструкционная версия каузальной языковой модели для работы с программным кодом, разработанная командой Qwen. Это дообученная версия Qwen/Qwen2.5-Coder-7B с архитектурой Qwen2 и 7,1 млрд параметров по метаданным. Модель принимает текстовые запросы и генерирует текст, включая код; поддерживает диалоговый режим и интерфейс вызова инструментов. Модель предназначена для генерации, анализа и исправления кода, рассуждений о коде и создания кодовых агентов. README описывает архитектуру на базе Transformers с RoPE, SwiGLU и RMSNorm, а также контекст до 131 072 токенов при настройке YaRN для длинных входов. В конфигурации по умолчанию используется контекст 32 768 токенов. Для длинных контекстов масштабирование YaRN может снижать качество на коротких запросах. Репозиторий содержит веса в формате safetensors и предназначен для использования с библиотекой Transformers; README рекомендует актуальную версию библиотеки. Лицензия — Apache-2.0. Карточка подтверждает прежде всего английский язык; отдельный список поддерживаемых языков программирования и оценка качества именно этой instruct-версии здесь не приведены.

88plug/Qwen2.5-Omni-7B-W4A16 — это INT4-квантованная версия базовой модели Qwen/Qwen2.5-Omni-7B, подготовленная 88plug методом посттренировочной квантализации. Модель предназначена для генерации текста и диалоговых сценариев с мультимодальным вводом: поддерживает обработку текста, изображений и аудио, а исходная архитектура также включает генерацию речи в реальном времени. Модель имеет архитектуру Thinker с языковой моделью, аудиобашней, визуальным модулем и компонентами синтеза речи Talker и Token2Wav. Квантованы линейные слои 28 трансформерных блоков языкового ядра в формате W4A16 с INT4-весами, BF16-активациями и размером группы 128. Аудио-, визуальные и речевые компоненты, эмбеддинги, LM head и нормализации сохранены в BF16. Размер весов составляет около 3,5 ГБ; заявлена работа на одной видеокарте с 8 ГБ памяти, например RTX 3080 с 10 ГБ. В конфигурациях запуска указан контекст до 32768 токенов, а заявленным языком является English. Главное преимущество модели — существенное снижение требований к памяти при сохранении мультимодальных возможностей базовой 7B-модели. Она подходит для локального развертывания через vLLM, включая обработку аудио и изображений; для полноценного вывода речи рекомендуется vLLM-Omni. Основные ограничения связаны с поддержкой окружений: TGI не поддерживает используемый формат compressed-tensors, обычный vLLM возвращает только текст, SGLang не поддерживает этот формат нативно, а интеграция с Hugging Face Inference Widget может работать нестабильно. Модель распространяется по лицензии Apache-2.0.

MingZwhy выпустил компактную причинно-языковую модель Qwen3-0.6B с 507,9 млн параметров. Это дообученная версия Qwen/Qwen3-0.6B: веса квантованы до эффективных 2,79 бита на параметр, после чего модель восстановлена с помощью quantization-aware distillation и on-policy distillation. Для весов используются смешанные INT1.58 и INT4 блоки, для эмбеддингов и выходной головы — INT4, для активаций — INT8. Модель загружается через Transformers и предназначена для генерации текста и диалогов; контекст составляет до 40 960 токенов. В опубликованных автором тестах модель показала результаты, близкие к исходной версии BF16 на GSM8K, MATH-500, AMC23, MBPP, HumanEval и QA9, но на части тестов уступила базовой модели. Низкая разрядность квантования сокращает требования к хранению весов, однако качество зависит от задачи и может снижаться относительно полной версии. Лицензия — Apache-2.0.

ToPo-ToPo/Qwen3.8-27B-mlx-bf16 — конверсия мультимодальной модели Qwen/Qwen3.8-27B в формат MLX bfloat16 для запуска на компьютерах Apple Silicon. Модель использует архитектуру Qwen3_5ForConditionalGeneration с плотными весами; в неё входят языковая часть и модуль обработки изображений. Исходные веса конвертированы с помощью mlx-vlm 0.6.9, лицензия — Apache-2.0. Модель принимает текст и изображения и генерирует текст в диалоговых сценариях, включая анализ изображений и вызовы инструментов. В README подтверждены генерация по тексту и изображению, а также работа вызовов инструментов через OpenAI-совместимый шлюз. Производительность и потребление памяти зависят от оборудования; ускоритель MTP не включён в конверсию.

Qwen3.8-27B-Uncensored-GGUF — набор GGUF-квантов 27-миллиардной модели Qwen3.8, подготовленный OrcaRouter на основе Qwen/Qwen3.8-27B. Это abliterated-версия с существенно удалёнными механизмами отказа от ответов. Модель предназначена для локального запуска через llama.cpp, включая сценарии исследований интерпретируемости, AI-безопасности, red-teaming и оценки устойчивости. Для практического применения требуется самостоятельно добавлять механизмы модерации и безопасности. Модель представляет собой плотную hybrid-attention архитектуру, сочетающую линейное внимание Gated DeltaNet и обычное full attention. Она поддерживает текст и изображения, reasoning, tool calling и MTP-голову для speculative decoding. Заявлены английский и китайский языки. Для обработки изображений нужен отдельный vision-проектор mmproj; поддерживаются CPU, CUDA, Metal и ROCm. Доступны варианты квантования от 2 до 16 бит, размер файлов — примерно от 8,9 до 54,7 ГБ; Q4_K_M указан как основной баланс качества и размера, а IQ4_XS — как предпочтительный вариант среди низкобитных квантов. К сильным сторонам относятся широкий выбор квантований, локальный запуск на различных аппаратных платформах, мультимодальность, поддержка инструментов и более эффективное speculative decoding с MTP. Ограничения включают необходимость свежей версии llama.cpp с поддержкой архитектуры qwen35 и MTP, заметное снижение качества у низкобитных вариантов, а также отсутствие встроенных защитных ограничений: модель может выполнять вредоносные или незаконные запросы. Лицензия — Apache 2.0, унаследованная от базовой модели; использование должно соответствовать законодательству и условиям лицензии.

Qwen3.8-Flash-Next MLX 4bit — локальная MLX-конверсия модели Qwen/Qwen3.8-Flash-Next, опубликованная пользователем nopmobiel. Модель разработана командой Qwen и предназначена для локального мультимодального общения, генерации текста и понимания изображений на компьютерах Apple с поддержкой MLX. Модель поддерживает текстовые и визуальные входные данные; в README указаны теги vision-language и совместимый с Qwen3-VL процессор. Языковые веса квантизированы в affine 4-bit с размером группы 64, embedding PLE n-gram — в affine 4-bit с размером группы 32, маршрутизирующие MoE-гейты — в 8-bit с размером группы 64, а vision tower работает в BF16. Контекстное окно, точный размер модели и перечень поддерживаемых языков не указаны. Тензоры для native MTP и speculative decoding в контрольную точку не включены. Сильные стороны модели — локальная работа, поддержка изображений, заметная скорость генерации на Apple M5 Max и совместимость с MLX-VLM и экспериментальным runtime LM Studio. Ограничения включают необходимость специальной поддержки Qwen4-Exp в runtime, экспериментальную интеграцию с LM Studio и высокие требования к памяти: измеренный пиковый расход составляет около 104,1 ГБ, поэтому модель не рекомендуется для Mac с меньшим объёмом памяти. Лицензия указана как qwen-community-1.0; применяются условия лицензии Qwen, доступной по ссылке в карточке модели.

JacobLinCool/Qwen3-Embedding-0.6B-GIR-1 — текстовая Sentence Transformer модель, дообученная на Qwen/Qwen3-Embedding-0.6B. Она преобразует предложения и абзацы в плотные векторы размерности 1024; близость текстов оценивается косинусным сходством. Архитектура включает Qwen3Model, pooling по последнему токену и нормализацию эмбеддингов. Максимальная длина последовательности — 32 768 токенов, формат весов — safetensors. Модель предназначена для семантического поиска и сравнения текстов. В README приведена настройка на парах запрос–код, поэтому она подходит, в частности, для поиска фрагментов кода по запросу на естественном языке. Также заявлены поиск перефразировок, кластеризация и классификация текста. Метаданные и описание базовой модели указывают на многоязычную основу Qwen3; конкретные языки обучения этой версии не перечислены. Для поиска информации в README приведены высокие метрики на небольшом наборе из 100 оценочных примеров, поэтому они не гарантируют аналогичного качества на других данных. Лицензия в предоставленных данных не указана.

furiosa-ai/Qwen3-Embedding-4B — текстовая модель эмбеддингов из серии Qwen3-Embedding, опубликованная FuriosaAI в виде пакета для запуска на ускорителе FuriosaAI RNGD с библиотекой Furiosa-LLM. Она преобразует текст в плотные векторы для семантического поиска, извлечения релевантных документов и сравнения сходства текстов. Это дообученная версия Qwen/Qwen3-Embedding-4B на плотной трансформерной архитектуре Qwen3; число параметров — 3,7 млрд, нативная длина контекста — 40 960 токенов. Модель поддерживает многоязычные сценарии и Matryoshka Representation Learning, позволяющий получать эмбеддинги уменьшенной размерности через параметр dimensions. Репозиторий содержит веса BF16 без квантизации и Furiosa Executable Bundle; для инференса также можно использовать Sentence Transformers, vLLM или Transformers, следуя карточке исходной модели. Лицензия — Apache 2.0.

Qwen_Qwen3-VL-32B-Instruct-GGUF — это GGUF-квантизированная версия мультимодальной instruct-модели Qwen3-VL-32B-Instruct, разработанной Qwen. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для задач image-text-to-text: обработки изображений и текстовых запросов с генерацией текстовых ответов. В набор входят варианты весов от исходного BF16 размером 65,53 ГБ до компактных квантизаций Q3 и Q4, а также высококачественные Q5, Q6 и Q8. Рекомендуемыми названы Q6_K_L, Q6_K, Q5 и Q4_K_M; выбор варианта позволяет найти компромисс между качеством и требованиями к памяти. Для запуска предлагаются LM Studio, llama.cpp и совместимые проекты. В README не указаны языки, размер контекста, точная архитектура, поддерживаемые форматы изображений и лицензия, поэтому эти характеристики нельзя надёжно определить по представленным данным.