II.1Анализ требований и архитектура ПО

mT5-XL — многоязычная модель Google на архитектуре encoder-decoder Transformer семейства T5 с 1,9 млрд параметров. Она предварительно обучена на корпусе mC4, охватывающем 101 язык, в едином формате преобразования текста в текст; доступны веса PyTorch, TensorFlow и Flax. Лицензия — Apache-2.0. Модель служит базой для дообучения под конкретные задачи обработки естественного языка, например перевод, суммаризацию и ответы на вопросы. Сам чекпойнт прошёл только предварительное обучение без обучения на размеченных задачах, поэтому перед решением прикладных задач его необходимо дообучить. Для очень крупной модели требуется достаточно памяти и вычислительных ресурсов.

Карточка модели LIF1014/ptdbench-Qwen2.5-0.5B-Instruct на Hugging Face совпадает с карточкой Qwen/Qwen2.5-0.5B-Instruct, поэтому описание составлено по ней. Qwen/Qwen2.5-0.5B-Instruct — компактная инструктивно настроенная языковая модель семейства Qwen2.5, разработанная командой Qwen. Она предназначена для диалогов, выполнения инструкций и генерации текста, включая длинные ответы, структурированные данные и JSON; также может применяться для простых задач по коду и математике. Модель построена на архитектуре Qwen2 с причинным языковым моделированием и содержит 494 млн параметров. В карточке указаны 24 слоя, RoPE, SwiGLU, RMSNorm и группированное внимание; контекст — 32 768 токенов, генерация — до 8 192 токенов. Модель работает с текстом, поддерживает чат и интерфейс вызова инструментов. Семейство Qwen2.5 заявляет поддержку более 29 языков, включая русский и английский. Небольшой размер упрощает запуск по сравнению с крупными языковыми моделями, но ограничивает сложность задач, которые она может надёжно решать. Модель распространяется по лицензии Apache-2.0; для загрузки через Transformers рекомендуется актуальная версия библиотеки.

Карточка модели ArchiveStudio/Qwen2.5-0.5B-Instruct на Hugging Face совпадает с карточкой Qwen/Qwen2.5-0.5B-Instruct, поэтому описание составлено по ней. Qwen/Qwen2.5-0.5B-Instruct — компактная инструктивно настроенная языковая модель семейства Qwen2.5, разработанная командой Qwen. Она предназначена для диалогов, выполнения инструкций и генерации текста, включая длинные ответы, структурированные данные и JSON; также может применяться для простых задач по коду и математике. Модель построена на архитектуре Qwen2 с причинным языковым моделированием и содержит 494 млн параметров. В карточке указаны 24 слоя, RoPE, SwiGLU, RMSNorm и группированное внимание; контекст — 32 768 токенов, генерация — до 8 192 токенов. Модель работает с текстом, поддерживает чат и интерфейс вызова инструментов. Семейство Qwen2.5 заявляет поддержку более 29 языков, включая русский и английский. Небольшой размер упрощает запуск по сравнению с крупными языковыми моделями, но ограничивает сложность задач, которые она может надёжно решать. Модель распространяется по лицензии Apache-2.0; для загрузки через Transformers рекомендуется актуальная версия библиотеки.

unsloth/Qwen2.5-0.5B-Instruct-bnb-4bit — это 4-битная версия instruction-tuned языковой модели Qwen2.5-0.5B-Instruct, подготовленная Unsloth на базе модели Qwen, разработанной Alibaba Cloud. Она предназначена для генерации текста, диалоговых ассистентов, следования инструкциям, работы со структурированными данными и форматами вывода, включая JSON, а также для задач программирования и математики. Модель является каузальной языковой моделью с архитектурой Transformers, RoPE, SwiGLU, RMSNorm, смещениями в QKV attention и связанными эмбеддингами слов. Она содержит около 0,49 млрд параметров, 24 слоя и использует Grouped Query Attention: 14 голов для Q и 2 для KV. Полная длина контекста составляет 32 768 токенов, максимальная длина генерации — 8192 токена. Поддерживаются более 29 языков, включая английский, китайский, русский, французский, испанский, немецкий, итальянский, японский, корейский, вьетнамский, тайский и арабский. Ключевое преимущество версии bnb-4bit — сниженное потребление памяти благодаря 4-битному представлению, что упрощает запуск и дообучение модели на ограниченных GPU-ресурсах. Небольшой размер делает её подходящей для локального использования и ресурсоограниченных приложений, однако по возможностям и качеству ответов она уступает более крупным моделям. README не содержит подробных результатов оценки именно этой 4-битной версии. Модель распространяется по лицензии Apache-2.0.

Qwen2.5-7B-CySecButler-v0.1 — объединённая языковая модель, созданная с помощью mergekit на основе Qwen/Qwen2.5-7B и четырёх других моделей: Vapor_v2_7B, Qwen-2.5-7b-TitanFusion-v5-Exp, Qwen2.5-7B-HyperMix и WhiteRabbitNeo-2.5-Qwen-2.5-Coder-7B. Разработчик позиционирует её для задач программирования и кибербезопасности. Модель имеет архитектуру Qwen2 dense с 7,1 млрд параметров и контекстом до 131 072 токенов; работает с текстом и поддерживает диалоговый интерфейс. Карточка не приводит отдельного описания измеренных возможностей или качества для конкретных задач. Модель может использоваться для генерации кода, ответов на вопросы по кибербезопасности и диалогового взаимодействия по техническим темам. Метаданные перечисляют поддержку китайского, английского, французского, испанского, португальского, немецкого, итальянского, русского, японского, корейского, вьетнамского, тайского и арабского языков. Доступна по лицензии Apache-2.0.

Qwen3.8-27B-Uncensored-NVFP4 (ModelOpt) — это квантованная версия мультимодальной модели JonathanColetti/Qwen3.8-27B-Uncensored, опубликованная joshebbs и подготовленная с помощью NVIDIA TensorRT Model Optimizer 0.43.0. Модель предназначена для инференса под управлением vLLM на GPU архитектуры Blackwell и поддерживает обработку текста и изображений. Заявленные языки — английский и китайский. Лицензия — Apache-2.0. Модель содержит 27 млрд параметров и использует гибридную архитектуру из 64 слоёв, объединяющую Gated DeltaNet и Gated Attention. Квантование NVFP4 с размером блока 16 и FP8-масштабами применено к 400 линейным слоям; vision tower, lm_head, MTP head и отдельные чувствительные к точности проекции DeltaNet сохранены в исходной точности. Размер весов уменьшен примерно с 65 ГБ в BF16 до 19,2 ГиБ. Vision tower и голова многотокенного предсказания сохранены. Модель подходит для генерации текста, рассуждений, мультимодальных сценариев и вызова инструментов через совместимый XML-формат Qwen. Контекст до 131 072 токенов проверен при распределённом запуске на двух NVIDIA DGX Spark GB10 с tensor parallelism. Для работы необходим runtime с поддержкой modelopt_fp4; стандартная загрузка через transformers невозможна. Рекомендуется vLLM с Blackwell, FP8 KV-cache и FlashInfer. При включённом режиме рассуждений ответы могут оказаться пустыми, если генерация обрывается внутри блока <think>; также для автоматического tool calling требуются специальные параметры vLLM.

AtomicChat/Qwen3.8-Flash-Next-GGUF — квантованная версия модели Qwen3.8-Flash-Next, основанная на оригинальных весах Qwen и подготовленная командой AtomicChat. Модель предназначена для локальной генерации текста и мультимодальных сценариев с обработкой изображений через llama.cpp. Это первый открытый релиз весов архитектуры, лежащей в основе Qwen4. Модель содержит около 177 млрд параметров; примерно 51 млрд из них представлены таблицей n-грамм, а не обычными весами. Доступны сборки GGUF с квантованием от 3,84 до 5,00 бит на вес, причём вариант AD-4.27bpw-Q4_K_M заявлен как оптимальный по соотношению качества и размера. Для него требуется около 92,9 ГБ на SSD и 54,5 ГБ памяти без учёта таблицы n-грамм. В README указан контекст до 32768 токенов, поддержка изображений и скорость около 36 токенов в секунду при генерации на Apple M5 Max; языки явно не перечислены. Сильные стороны модели — возможность локального запуска крупной 176–177B-модели на системах с ограниченной оперативной памятью за счёт размещения таблицы n-грамм на SSD, а также сохранение близкого к более тяжёлой 5-битной сборке качества у варианта AD-4.27bpw. Ограничения включают очень большой объём файлов, необходимость совместимой сборки llama.cpp с поддержкой этой архитектуры и специальные параметры запуска, включая mmap и отключение автоматической подгонки размещения. Для Apple Silicon таблица должна находиться в отдельном GGUF-шарде. Лицензия указана как qwen-community-1.0; ссылка ведёт на лицензию базовой модели Qwen/Qwen3.8-Flash-Next. Дополнительные условия использования в README не раскрыты.

mlx-community/Qwen3-Coder-480B-A35B-Instruct-8bit — это 8-битная версия модели Qwen3-Coder-480B-A35B-Instruct, преобразованная сообществом mlx-community в формат MLX с использованием mlx-lm 0.29.0. Исходную модель разработала команда Qwen; карточка указывает базовую модель Qwen/Qwen3-Coder-480B-A35B-Instruct. Модель предназначена для генерации текста и, судя по названию и базовой модели, ориентирована на задачи программирования и работу с инструкциями. Она может использоваться через библиотеку mlx-lm на совместимых системах Apple MLX; поддерживаются загрузка модели, токенизатора и генерация ответов с применением chat template, если он доступен. Архитектура, точное число активных параметров, поддерживаемые языки, модальности и размер контекста в README не указаны, поэтому их нельзя достоверно описать. Ключевая характеристика этой версии — 8-битное представление в формате MLX, что предназначено для запуска модели через экосистему MLX. Ограничения включают отсутствие в карточке подробных сведений о производительности, требованиях к памяти, качестве, контекстном окне и совместимости. Модель распространяется по лицензии Apache-2.0.

Qwen3-Embedding-0.6B — многоязычная модель эмбеддингов текста семейства Qwen3, разработанная командой Qwen. Это дообученная версия Qwen/Qwen3-0.6B-Base с плотной архитектурой Qwen3ForCausalLM и примерно 507,6 млн параметров. Модель предназначена для преобразования текста в векторы и поиска семантически близких текстов; её применяют для поиска и извлечения документов, поиска по коду, классификации, кластеризации и сопоставления параллельных текстов. Модель поддерживает более 100 естественных языков и языков программирования, обрабатывает контекст до 32 768 токенов и выдаёт эмбеддинги размерностью до 1024, включая пользовательские размерности от 32 до 1024. Она поддерживает инструкции, настраиваемые под задачу, язык или сценарий, что может улучшать качество поиска. README описывает серию как сильную в многоязычных задачах эмбеддингов, но приведённые в нём отдельные лидирующие результаты относятся к модели 8B, а не к версии 0.6B. Для использования требуется совместимая версия Transformers: в версиях ранее 4.51.0 возможно возникновение ошибки распознавания архитектуры. Лицензия — Apache-2.0.

Qwen3-Embedding-4B — модель эмбеддингов текста из семейства Qwen3, опубликованная в репозитории unsloth и дообученная на базе Qwen/Qwen3-4B-Base. Плотная архитектура Qwen3 насчитывает около 3,7 млрд параметров. Модель рассчитана на получение векторных представлений текста для поиска и ранжирования; метаданные также отмечают возможности генерации текста и сходства предложений. Модель поддерживает более 100 языков, понимает длинные тексты и принимает инструкции, помогающие настроить эмбеддинги под задачу. Контекст составляет до 40 960 токенов по метаданным, а README указывает 32 тыс.; размер выходного вектора можно задавать в диапазоне от 32 до 2560 измерений. Модель подходит для семантического и межъязыкового поиска, поиска по коду, классификации и кластеризации текстов. Модель распространяется под лицензией Apache-2.0. README рекомендует настраивать инструкции под сценарий и отмечает, что без инструкции на стороне запроса в задачах поиска качество может снижаться примерно на 1–5%; для многоязычных сценариев авторы советуют формулировать инструкции на английском. Для Transformers версии ниже 4.51.0 возможна ошибка загрузки с ключом qwen3.

Карточка модели Yaldat/Yalda-Embedding2 на Hugging Face совпадает с карточкой Qwen/Qwen3-Embedding-0.6B, поэтому описание составлено по ней. Qwen3-Embedding-0.6B — многоязычная модель эмбеддингов текста семейства Qwen3, разработанная командой Qwen. Это дообученная версия Qwen/Qwen3-0.6B-Base с плотной архитектурой Qwen3ForCausalLM и примерно 507,6 млн параметров. Модель предназначена для преобразования текста в векторы и поиска семантически близких текстов; её применяют для поиска и извлечения документов, поиска по коду, классификации, кластеризации и сопоставления параллельных текстов. Модель поддерживает более 100 естественных языков и языков программирования, обрабатывает контекст до 32 768 токенов и выдаёт эмбеддинги размерностью до 1024, включая пользовательские размерности от 32 до 1024. Она поддерживает инструкции, настраиваемые под задачу, язык или сценарий, что может улучшать качество поиска. README описывает серию как сильную в многоязычных задачах эмбеддингов, но приведённые в нём отдельные лидирующие результаты относятся к модели 8B, а не к версии 0.6B. Для использования требуется совместимая версия Transformers: в версиях ранее 4.51.0 возможно возникновение ошибки распознавания архитектуры. Лицензия — Apache-2.0.

Карточка модели Yaldat/Yalda-Embedding3 на Hugging Face совпадает с карточкой Qwen/Qwen3-Embedding-0.6B, поэтому описание составлено по ней. Qwen3-Embedding-0.6B — многоязычная модель эмбеддингов текста семейства Qwen3, разработанная командой Qwen. Это дообученная версия Qwen/Qwen3-0.6B-Base с плотной архитектурой Qwen3ForCausalLM и примерно 507,6 млн параметров. Модель предназначена для преобразования текста в векторы и поиска семантически близких текстов; её применяют для поиска и извлечения документов, поиска по коду, классификации, кластеризации и сопоставления параллельных текстов. Модель поддерживает более 100 естественных языков и языков программирования, обрабатывает контекст до 32 768 токенов и выдаёт эмбеддинги размерностью до 1024, включая пользовательские размерности от 32 до 1024. Она поддерживает инструкции, настраиваемые под задачу, язык или сценарий, что может улучшать качество поиска. README описывает серию как сильную в многоязычных задачах эмбеддингов, но приведённые в нём отдельные лидирующие результаты относятся к модели 8B, а не к версии 0.6B. Для использования требуется совместимая версия Transformers: в версиях ранее 4.51.0 возможно возникновение ошибки распознавания архитектуры. Лицензия — Apache-2.0.

AI4SGI-ExoMind-9B-GGUF — набор GGUF-квантизаций компактной модели ExoMind-9B, разработанной Shanghai AI Laboratory и дообученной на базе Qwen3.5-9B. Данный репозиторий поддерживается prithivMLmods и содержит варианты модели с точностью от BF16 до Q3_K_S. Модель предназначена для ресурсосберегающих экспериментов в области научного рассуждения и агентных исследовательских сценариев. ExoMind-9B ориентирована на ответы на научные вопросы, математическое и вычислительное рассуждение, поиск источников, обоснование выводов по доступным свидетельствам, исполняемую проверку результатов, интеграцию наблюдений, использование инструментов и создание агентных прототипов. Она сохраняет мультимодальные возможности базовой модели Qwen3.5 для работы с текстом и изображениями, поддерживает английский и китайский языки и имеет контекстное окно до 262 144 токенов. Обучение проводилось методом progressive Chain-of-Interaction на траекториях рассуждений и взаимодействия. К сильным сторонам относятся компактный размер в 9 миллиардов параметров, широкий контекст, мультимодальность, поддержка научно-исследовательских и tool-use-сценариев, а также доступность нескольких GGUF-квантизаций для запуска через llama.cpp и совместимых инструментов. При этом отдельные официальные результаты бенчмарков для ExoMind-9B не приведены: опубликованные показатели относятся к более крупной модели ExoMind-35B-A3B и не должны переноситься на эту версию. Модель выпущена по лицензии Apache License 2.0; сопутствующие материалы, бренд ExoMind и некоторые элементы публикации могут регулироваться отдельными условиями.

OS-Software/Gemma-4-12B-it-QAT-Q4_0-Unquantized-Heretic-JA — производная разговорная мультимодальная модель на основе Google Gemma 4 12B IT, опубликованная OS-Software. Модель предназначена для экспериментов с диалогом, рассуждениями, агентными сценариями, программированием и пониманием изображений; заявлены также OCR, разбор документов и анализ видео для семейства Gemma 4. Архитектура — плотная Gemma4 Unified с чередованием локального и глобального внимания. Метаданные указывают формат safetensors, библиотеку Transformers, поддержку чата и изображений, а также тег задачи image-text-to-text. README семейства указывает контекст до 256K токенов для 12B и поддержку более 35 языков, но эти характеристики относятся к семейству, а не подтверждены отдельно для этой производной модели. README позиционирует модель для исследований безопасности, выравнивания и red teaming и просит не развёртывать её в публичных или пользовательских сервисах. В карточке также приведены общие ограничения Gemma: возможны фактические ошибки, смещения данных и трудности с неоднозначными формулировками и сложными задачами. Лицензия — Apache-2.0. В названии присутствуют «QAT», «Q4_0» и «unquantized», однако метаданные сообщают только о safetensors, поэтому фактический формат весов в описании не уточняется.

GLM-5.2-MXFP4xFP8_BLOCK — квантизированная версия языковой модели GLM-5.2, разработанная RedHatAI на базе модели zai-org/GLM-5.2. Это текстовая causal language model с архитектурой GlmMoeDsaForCausalLM: принимает текст и генерирует текст. В README указана поддержка английского и китайского языков, а также готовность к инференсу через vLLM. Модель использует смешанную квантизацию: линейные слои MoE-экспертов квантизированы до 4-битного MXFP4, а линейные слои внимания, dense- и shared-expert-компоненты — до 8-битного блочно-масштабируемого FP8_BLOCK; активации квантизируются в FP8 с динамическим масштабированием. В среднем используется около 4,4 бита на параметр, благодаря чему размер модели на диске сокращён примерно с 1,47 ТБ в формате BF16 до 411 ГБ, а требования к дисковой и GPU-памяти уменьшены приблизительно на 72%. Модель предназначена для запуска крупной GLM-5.2 в условиях ограниченных ресурсов, включая инференс с использованием vLLM, параллелизма по тензорам, FP8 KV-кэша и инструментального вызова. Ключевое ограничение — экспериментальная поддержка этого квантизированного checkpoint в vLLM; размер контекста, точное число параметров, мультимодальные возможности и лицензия в README не указаны. Квантизация выполнена с помощью LLM Compressor методом RTN без калибровочных данных, а модель экспортирована в формате compressed-tensors.

Granite-embedding-english-r2 — плотная двунаправленная модель-биэнкодер из семейства Granite Embeddings, разработанная командой Granite Embedding Team компании IBM. Она преобразует английские запросы, фрагменты и документы в векторы размером 768 для поиска, извлечения информации и сравнения текстов по косинусному сходству. Модель построена на архитектуре ModernBERT, содержит 149 млн параметров и поддерживает контекст до 8192 токенов. Модель обучалась на открытых наборах пар релевантности с разрешительными лицензиями, а также на данных, собранных и созданных IBM. В обучении использовались retrieval-ориентированное предварительное обучение, контрастивное дообучение, дистилляция и объединение моделей. В README заявлены результаты на тестах поиска по текстам, коду, длинным документам, диалогам и таблицам. Репозиторий предоставляет форматы PyTorch, Safetensors, ONNX, OpenVINO и TensorFlow. Модель предназначена для применения в системах поиска и извлечения информации, включая подбор релевантных документов и построение векторных представлений для последующего сравнения. Она рассчитана только на английский язык; тексты длиннее 8192 токенов будут усечены. Распространяется по лицензии Apache 2.0.

Карточка модели DongfuJiang/Qwen2.5-0.5B-Instruct на Hugging Face совпадает с карточкой Qwen/Qwen2.5-0.5B-Instruct, поэтому описание составлено по ней. Qwen/Qwen2.5-0.5B-Instruct — компактная инструктивно настроенная языковая модель семейства Qwen2.5, разработанная командой Qwen. Она предназначена для диалогов, выполнения инструкций и генерации текста, включая длинные ответы, структурированные данные и JSON; также может применяться для простых задач по коду и математике. Модель построена на архитектуре Qwen2 с причинным языковым моделированием и содержит 494 млн параметров. В карточке указаны 24 слоя, RoPE, SwiGLU, RMSNorm и группированное внимание; контекст — 32 768 токенов, генерация — до 8 192 токенов. Модель работает с текстом, поддерживает чат и интерфейс вызова инструментов. Семейство Qwen2.5 заявляет поддержку более 29 языков, включая русский и английский. Небольшой размер упрощает запуск по сравнению с крупными языковыми моделями, но ограничивает сложность задач, которые она может надёжно решать. Модель распространяется по лицензии Apache-2.0; для загрузки через Transformers рекомендуется актуальная версия библиотеки.

Qwen/Qwen2.5-0.5B-Instruct — компактная инструктивно настроенная языковая модель семейства Qwen2.5, разработанная командой Qwen. Она предназначена для диалогов, выполнения инструкций и генерации текста, включая длинные ответы, структурированные данные и JSON; также может применяться для простых задач по коду и математике. Модель построена на архитектуре Qwen2 с причинным языковым моделированием и содержит 494 млн параметров. В карточке указаны 24 слоя, RoPE, SwiGLU, RMSNorm и группированное внимание; контекст — 32 768 токенов, генерация — до 8 192 токенов. Модель работает с текстом, поддерживает чат и интерфейс вызова инструментов. Семейство Qwen2.5 заявляет поддержку более 29 языков, включая русский и английский. Небольшой размер упрощает запуск по сравнению с крупными языковыми моделями, но ограничивает сложность задач, которые она может надёжно решать. Модель распространяется по лицензии Apache-2.0; для загрузки через Transformers рекомендуется актуальная версия библиотеки.

unsloth/Qwen2.5-0.5B-Instruct-unsloth-bnb-4bit — компактная 4-битная версия модели Qwen2.5-0.5B-Instruct, подготовленная Unsloth на базе семейства Qwen, разработанного командой Qwen. Модель предназначена для задач генерации и обработки текста, включая диалоговые приложения, следование инструкциям, работу со структурированными данными, генерацию JSON, базовое программирование и математические запросы. Модель относится к классу авторегрессионных языковых моделей и содержит около 0,49 млрд параметров, из которых около 0,36 млрд не являются параметрами эмбеддингов. Архитектура использует RoPE, SwiGLU, RMSNorm, смещения в QKV внимания, связанные эмбеддинги слов и Grouped Query Attention с 14 головами для Q и 2 для KV. Заявлена поддержка контекста до 32 768 токенов. Семейство Qwen2.5 поддерживает более 29 языков, включая английский, китайский, русский и другие, однако для данной конкретной версии в метаданных явно указан английский язык. Ключевое преимущество версии — сниженные требования к памяти благодаря 4-битному квантованию Unsloth, при этом заявлено выборочное квантование Dynamic 4-bit для лучшего сохранения точности по сравнению со стандартными 4-битными форматами. Ограничениями являются небольшой размер модели и, как следствие, более ограниченные возможности по сравнению с крупными моделями; README также не содержит подробных результатов бенчмарков именно для этой версии. Лицензия — Apache-2.0.

MuXodious разработал Qwen3.5-9B-SOMPOA-heresy — дообученную версию мультимодальной модели Qwen3.5-9B, обработанную инструментом Heretic с методами abliteration и Self-Organizing Maps. В процессе создания также применялась 4-битная qLoRA. Модель предназначена для диалога и ответов на запросы с изображениями; доступны интерфейс вызова инструментов и возможности vision. Модель содержит 9 млрд параметров и использует архитектуру Qwen3.5 с языковой моделью и визуальным энкодером. Базовая модель поддерживает 201 язык и диалект и имеет контекст длиной 262 144 токена с возможностью расширения; эти характеристики относятся к Qwen3.5-9B и не подтверждают отдельную оценку дообученной версии. Автор сообщает, что после обработки доля отказов снизилась с 414 из 416 до 33 из 416 в использованной им проверке. Лицензия — Apache-2.0.

Qwen3.6-35B-A3B-w4a16-llmcompressor — квантизированная версия модели Qwen3.6-35B-A3B, созданная AMD с использованием LLM Compressor и формата compressed-tensors. Модель предназначена для генерации текста и обработки изображений и текста; её архитектура обозначена как Qwen3_5MoeForConditionalGeneration. Основной сценарий использования — инференс на CPU AMD EPYC под Linux через vLLM с оптимизациями ZenDNN. Модель использует 4-битную квантизацию только весов W4A16 по алгоритму GPTQ: веса представлены в INT4, симметрично и группами по 128 параметров, а активации сохраняются в BF16. Размер весов уменьшен примерно с 67,0 до 18,1 GiB, то есть примерно на 73%. Квантизации подвергнуты, в частности, 256 маршрутизируемых MoE-экспертов, общий эксперт и проекции линейного внимания; vision tower, маршрутизатор MoE, отдельные gate-компоненты, lm_head, эмбеддинги и layer norms сохранены в BF16. В README явно указан английский язык, но сведения о полном контекстном окне отсутствуют. Сильными сторонами являются существенное сокращение объёма модели и ориентация на эффективный CPU-инференс на аппаратной платформе AMD при сохранении наиболее чувствительных к качеству компонентов в BF16. Ограничения связаны с зависимостью от совместимого стека: ZenDNN 6.1.0, ZenTorch 2.13.0.0, PyTorch 2.13.0.0, LLM Compressor 0.12.0 и vLLM 0.28.0, а также с потенциальными потерями качества, характерными для 4-битной квантизации. Модель распространяется по лицензии Apache-2.0.

avyukth/Qwen3.8-27B-AWQ-INT4 — это квантизированная 4-битная версия мультимодальной модели Qwen/Qwen3.8-27B, разработанной командой Qwen и подготовленной пользователем avyukth. Модель предназначена для генерации текста и обработки изображений с текстовыми запросами, включая визуальное чтение текста, распознавание форм, цветов и положения объектов, а также задачи рассуждения и диалоговые сценарии. Модель реализует архитектуру Qwen3.5 с классом Qwen3_5ForConditionalGeneration и содержит 27 миллиардов параметров в исходной версии. Веса Linear-модулей квантизированы по схеме symmetric W4A16 с размером группы 128, занимают около 18 ГБ на диске и требуют примерно 17,68 ГиБ видеопамяти. Vision tower, lm_head и MTP head сохранены в формате bfloat16. Заявлена работа на одной видеокарте с 24 ГБ памяти; проверено использование на RTX 3090 через vLLM. В README указана настройка с максимальной длиной контекста 8192 токена, однако поддерживаемые языки отдельно не перечислены. Сильными сторонами являются существенное уменьшение размера модели, сохранение мультимодальных возможностей и высокая измеренная точность на ограниченной выборке GSM8K: 39 из 40 задач при температуре 0. Ограничения связаны с тем, что 48 из 64 слоёв linear attention квантизированы без activation-aware scaling, vision tower не квантизирован, а некоторые проекции требуют padding и slicing в vLLM, что снижает производительность. Результат GSM8K получен только на 40 задачах и не является полноценным сравнением с исходной моделью. Модель распространяется по лицензии Apache 2.0, унаследованной от базовой модели. Репозиторий содержит только квантизированные веса; авторство самой модели принадлежит команде Qwen.

Карточка модели Content-AI/Qwen3-Embedding-0.6B на Hugging Face совпадает с карточкой Qwen/Qwen3-Embedding-0.6B, поэтому описание составлено по ней. Qwen3-Embedding-0.6B — многоязычная модель эмбеддингов текста семейства Qwen3, разработанная командой Qwen. Это дообученная версия Qwen/Qwen3-0.6B-Base с плотной архитектурой Qwen3ForCausalLM и примерно 507,6 млн параметров. Модель предназначена для преобразования текста в векторы и поиска семантически близких текстов; её применяют для поиска и извлечения документов, поиска по коду, классификации, кластеризации и сопоставления параллельных текстов. Модель поддерживает более 100 естественных языков и языков программирования, обрабатывает контекст до 32 768 токенов и выдаёт эмбеддинги размерностью до 1024, включая пользовательские размерности от 32 до 1024. Она поддерживает инструкции, настраиваемые под задачу, язык или сценарий, что может улучшать качество поиска. README описывает серию как сильную в многоязычных задачах эмбеддингов, но приведённые в нём отдельные лидирующие результаты относятся к модели 8B, а не к версии 0.6B. Для использования требуется совместимая версия Transformers: в версиях ранее 4.51.0 возможно возникновение ошибки распознавания архитектуры. Лицензия — Apache-2.0.

Карточка модели Terom/Qwen3-Embedding-0.6B на Hugging Face совпадает с карточкой Qwen/Qwen3-Embedding-0.6B, поэтому описание составлено по ней. Qwen3-Embedding-0.6B — многоязычная модель эмбеддингов текста семейства Qwen3, разработанная командой Qwen. Это дообученная версия Qwen/Qwen3-0.6B-Base с плотной архитектурой Qwen3ForCausalLM и примерно 507,6 млн параметров. Модель предназначена для преобразования текста в векторы и поиска семантически близких текстов; её применяют для поиска и извлечения документов, поиска по коду, классификации, кластеризации и сопоставления параллельных текстов. Модель поддерживает более 100 естественных языков и языков программирования, обрабатывает контекст до 32 768 токенов и выдаёт эмбеддинги размерностью до 1024, включая пользовательские размерности от 32 до 1024. Она поддерживает инструкции, настраиваемые под задачу, язык или сценарий, что может улучшать качество поиска. README описывает серию как сильную в многоязычных задачах эмбеддингов, но приведённые в нём отдельные лидирующие результаты относятся к модели 8B, а не к версии 0.6B. Для использования требуется совместимая версия Transformers: в версиях ранее 4.51.0 возможно возникновение ошибки распознавания архитектуры. Лицензия — Apache-2.0.

Карточка модели AhmadAfles/qwen3-embedding-finetuned-86genres-focal на Hugging Face совпадает с карточкой Qwen/Qwen3-Embedding-0.6B, поэтому описание составлено по ней. Qwen3-Embedding-0.6B — многоязычная модель эмбеддингов текста семейства Qwen3, разработанная командой Qwen. Это дообученная версия Qwen/Qwen3-0.6B-Base с плотной архитектурой Qwen3ForCausalLM и примерно 507,6 млн параметров. Модель предназначена для преобразования текста в векторы и поиска семантически близких текстов; её применяют для поиска и извлечения документов, поиска по коду, классификации, кластеризации и сопоставления параллельных текстов. Модель поддерживает более 100 естественных языков и языков программирования, обрабатывает контекст до 32 768 токенов и выдаёт эмбеддинги размерностью до 1024, включая пользовательские размерности от 32 до 1024. Она поддерживает инструкции, настраиваемые под задачу, язык или сценарий, что может улучшать качество поиска. README описывает серию как сильную в многоязычных задачах эмбеддингов, но приведённые в нём отдельные лидирующие результаты относятся к модели 8B, а не к версии 0.6B. Для использования требуется совместимая версия Transformers: в версиях ранее 4.51.0 возможно возникновение ошибки распознавания архитектуры. Лицензия — Apache-2.0.

SherlockID365/Qwen3-VL-8B-Instruct-quantized.w4a16 — квантизированная версия мультимодальной vision-language модели Qwen/Qwen3-VL-8B-Instruct. В карточке не указан отдельный разработчик производной версии; базовая модель связана с семейством Qwen. Модель предназначена для задач, требующих обработки текста и визуальных данных, включая мультимодальные инструкции и анализ изображений. Модель содержит около 8 миллиардов параметров и использует архитектуру с визуальной частью, которая не подвергалась преобразованию при квантизации. Линейные слои квантизированы методом AWQ в формате W4A16: веса представлены 4 битами, активации сохраняются в формате FP16, используется group_size=128, zero_point=true и версия gemm. Контекстное окно и точный перечень поддерживаемых языков в README не указаны. Ключевое преимущество версии — уменьшенное потребление памяти и потенциально более высокая эффективность инференса по сравнению с полноточной моделью, что удобно для запуска через совместимые инструменты, включая vLLM. Ограничения связаны с потерями точности, возможными для 4-битной квантизации, а также с зависимостью от поддержки формата AWQ и используемого программного окружения. Модель распространяется по лицензии Apache-2.0.

Карточка модели Yaldat/Yalda-Embedding-Scratch на Hugging Face совпадает с карточкой Qwen/Qwen3-Embedding-0.6B, поэтому описание составлено по ней. Qwen3-Embedding-0.6B — многоязычная модель эмбеддингов текста семейства Qwen3, разработанная командой Qwen. Это дообученная версия Qwen/Qwen3-0.6B-Base с плотной архитектурой Qwen3ForCausalLM и примерно 507,6 млн параметров. Модель предназначена для преобразования текста в векторы и поиска семантически близких текстов; её применяют для поиска и извлечения документов, поиска по коду, классификации, кластеризации и сопоставления параллельных текстов. Модель поддерживает более 100 естественных языков и языков программирования, обрабатывает контекст до 32 768 токенов и выдаёт эмбеддинги размерностью до 1024, включая пользовательские размерности от 32 до 1024. Она поддерживает инструкции, настраиваемые под задачу, язык или сценарий, что может улучшать качество поиска. README описывает серию как сильную в многоязычных задачах эмбеддингов, но приведённые в нём отдельные лидирующие результаты относятся к модели 8B, а не к версии 0.6B. Для использования требуется совместимая версия Transformers: в версиях ранее 4.51.0 возможно возникновение ошибки распознавания архитектуры. Лицензия — Apache-2.0.

BERTA — модель для получения эмбеддингов предложений на русском и английском языках. Согласно карточке, её разработал sergeyzh методом дистилляции эмбеддингов ai-forever/FRIDA в sergeyzh/LaBSE-ru-turbo. Это плотная модель семейства BERT с 155,5 млн параметров; размер эмбеддинга — 768, контекст — до 512 токенов. Модель предназначена для сравнения семантической близости текстов, поиска и других задач на эмбеддингах. Карточка также приводит результаты для распознавания перефразирования, вывода по тексту, анализа тональности и выявления токсичности. Для большинства задач задан префикс «categorize_entailment: »; также доступны унаследованные от FRIDA префиксы для запросов и документов. Используется mean pooling вместо CLS pooling. В бенчмарке ruMTEB BERTA показывает результаты, близкие к FRIDA, но в приведённых таблицах уступает ей по указанным метрикам классификации и кластеризации. Модель принимает текст и выдаёт векторы эмбеддингов. Лицензия — MIT.

ODeNy/ChecketV2 — модель Sentence Transformers, дообученная разработчиком ODeNy на базе sentence-transformers/paraphrase-multilingual-mpnet-base-v2. Она преобразует предложения и абзацы в плотные векторы размерности 768 для сравнения смысловой и перефразированной близости с помощью косинусного сходства. Основное применение — оценка сходства формулировок; также модель подходит для семантического текстового сходства и поиска похожих фрагментов. Сравнение текстов по стилю автор README называет экспериментальным сценарием. Модель построена на XLM-RoBERTa с усреднением токенных представлений и обучена с CoSENTLoss на датасете ODeNy/ChecketV2-Dataset. README указывает максимальную длину последовательности 128 токенов; метаданные каталога сообщают нативный контекст 514 токенов. Карточка называет нидерландский основным языком и заявляет многоязычность, но конкретный перечень дополнительных языков не приводит. Лицензия — Apache 2.0.

Карточка модели hemanthdegapudi/LFM2.5-1.2B-Instruct на Hugging Face совпадает с карточкой LiquidAI/LFM2.5-1.2B-Instruct, поэтому описание составлено по ней. LFM2.5-1.2B-Instruct — плотная гибридная языковая модель Liquid AI для локального и периферийного развертывания. Это версия общего назначения, дообученная следовать инструкциям на базе LiquidAI/LFM2.5-1.2B-Base. В карточке указано 1,17 млрд параметров, 16 слоёв (10 блоков double-gated convolution и 6 блоков GQA), а метаданные Hugging Face указывают 1,5 млрд параметров. Модель принимает текст и генерирует текст; поддерживает контекст до 32 768 токенов по README, тогда как метаданные каталога указывают нативный контекст 128 000 токенов. Модель рассчитана на агентные сценарии, извлечение данных, ответы по документам в RAG и вызов функций. Liquid AI заявляет высокую скорость локального вывода и возможность работы с ограниченной памятью. Поддерживаемые языки: английский, арабский, китайский, французский, немецкий, японский, корейский и испанский. Модель не рекомендуется для задач, требующих обширных знаний, и программирования. Лицензия обозначена в метаданных как other; конкретные условия следует сверить с лицензией репозитория.