II.1Анализ требований и архитектура ПО

EXAONE-4.0-1.2B-GGUF — это компактная языковая модель семейства EXAONE 4.0, разработанная LG AI Research. Данная версия представлена в формате GGUF и предназначена для локального запуска, включая on-device-сценарии. Модель поддерживает генерацию текста, агентное использование инструментов, а также два режима работы: обычный и reasoning mode для решения более сложных задач. Модель содержит около 1,07 млрд параметров без учёта эмбеддингов, 30 слоёв и использует Grouped-Query Attention с 32 attention heads и 8 KV heads. Размер словаря составляет 102 400 токенов, контекст — до 65 536 токенов. Поддерживаются английский, корейский и испанский языки. Архитектурные особенности серии включают QK-Reorder-Norm; гибридная attention-схема с локальным и глобальным вниманием указана для 32B-версии, поэтому её применение к данной 1.2B-модели не подтверждено. Сильные стороны модели — небольшой размер, возможность локального и периферийного развертывания, многоязычность, поддержка reasoning mode и вызова инструментов. Ограничения включают существенно меньший размер по сравнению с 32B-версией, что может снижать качество на сложных задачах; конкретные показатели производительности и требования к ресурсам в README не приведены. Модель распространяется по лицензии EXAONE, обозначенной как other; подробные условия находятся в файле LICENSE.

Vishva007/gemma-4-E4B-it-W4A16-AutoRound-GPTQ — это 4-битная GPTQ-квантизованная версия мультимодальной модели Google Gemma 4 E4B Instruct, созданная на базе google/gemma-4-E4B-it. Модель предназначена для генерации и понимания текста, работы с изображениями и аудио, включая мультимодальные диалоги, описание изображений и анализ визуальных материалов. Заявлена поддержка английского и многоязычных сценариев. Модель распространяется для использования через Transformers и vLLM; в README рекомендована совместимая сборка vLLM для сервинга и OpenAI-совместимого API. Архитектура включает 42-слойную текстовую часть Gemma4TextModel с размерностью скрытого состояния 2560 и смешанным локальным и глобальным вниманием, 16-слойную vision-модель с размерностью 768 и 12-слойную audio-модель с conformer-подобными слоями. Размер словаря составляет 262 144 токена. Линейные слои языковой модели квантизованы по схеме W4A16: веса INT4, активации BF16, размер группы 128, симметричная квантизация. Визуальная и аудиобашни, а также мультимодальные проекторы сохраняются в полной точности, что помогает поддерживать мультимодальное качество. В рекомендованной конфигурации vLLM указан максимальный размер контекста 18 432 токена, а число визуальных токенов на изображение можно настраивать. Главные преимущества — снижение требований к памяти и возможность эффективного развёртывания при сохранении мультимодальных возможностей. Ограничения связаны с использованием RTN-режима AutoRound без полной оптимизации, возможным небольшим снижением точности из-за пропуска слоёв, размеры которых не кратны 32, а также более низкой эффективностью speculative decoding по сравнению с исходной неквантизованной моделью. Лицензия указана как gemma; конкретные условия её применения следует уточнять в лицензии Google Gemma.

LFM2.5-1.2B-Thinking — текстовая модель общего назначения от Liquid AI, созданная для локального запуска на устройствах с ограниченными ресурсами. Это дообученная версия LFM2.5-1.2B-Base, основанная на гибридной архитектуре LFM2: 16 слоёв, включая блоки свёрток и GQA. В README указано 1,17 млрд параметров, а в метаданных Hugging Face — 1,5 млрд; заявленная длина контекста в README составляет 32 768 токенов, тогда как метаданные указывают 128 000 токенов. Эти значения расходятся, поэтому их следует сверить перед настройкой развёртывания. Модель предназначена для рассуждений общего назначения, агентных сценариев, извлечения данных и ответов по документам в RAG-системах. Она поддерживает вызов инструментов и рассчитана на английский, арабский, китайский, французский, немецкий, японский, корейский и испанский языки. Карточка описывает исходный чекпойнт в формате Safetensors и указывает поддержку Transformers и vLLM; семейство LFM2.5 также ориентировано на запуск на устройстве. README не рекомендует модель для задач, требующих обширных знаний, и программирования; дата отсечения знаний — середина 2024 года. Лицензия в метаданных обозначена как other, поэтому конкретные условия использования следует проверять в карточке модели на Hugging Face.

Карточка модели PoetryMTEB/Poetry-Qwen3-Embedding-0.6B на Hugging Face совпадает с карточкой unsloth/Qwen3-Embedding-0.6B, поэтому описание составлено по ней. Qwen3-Embedding-0.6B — текстовая модель эмбеддингов семейства Qwen3, представленная в репозитории Unsloth и основанная на Qwen/Qwen3-0.6B-Base. Это плотная архитектура с 507,6 млн параметров и контекстом до 32 768 токенов. Модель преобразует текст в векторы размерностью от 32 до 1024 и позволяет задавать инструкцию для конкретной задачи. Модель предназначена для семантического поиска и извлечения текстов, сравнения предложений, классификации и кластеризации текста, поиска по коду и межъязыкового сопоставления. Она поддерживает более 100 языков, включая языки программирования, и рассчитана на многоязычные и межъязыковые сценарии. Лицензия — Apache-2.0. Карточка описывает всю серию Qwen3 Embedding, поэтому приведённые в ней лидерские результаты относятся к модели 8B, а не подтверждают такие же результаты для версии 0.6B. Для работы с Transformers требуется версия 4.51.0 или новее: более ранние версии могут выдавать ошибку распознавания архитектуры Qwen3.

unsloth/Qwen2.5-VL-3B-Instruct-unsloth-bnb-4bit — инструкция-дообученная мультимодальная модель семейства Qwen2.5-VL, разработанная командой Qwen и представленная в 4-битном формате квантования unsloth-bnb. Модель основана на Qwen/Qwen2.5-VL-3B-Instruct и предназначена для обработки изображений, видео и текста с использованием библиотеки Transformers. Модель поддерживает анализ объектов, текста, таблиц, графиков, документов и компоновки изображений, визуальную локализацию объектов с помощью координатных рамок или точек, структурированный вывод данных, а также понимание длительных видеоматериалов и выделение релевантных моментов. Она также ориентирована на агентские сценарии, включая взаимодействие с компьютером и мобильными устройствами. Архитектура включает языковую модель на 3 миллиарда параметров и оптимизированный vision encoder на базе ViT с window attention, SwiGLU и RMSNorm; для видео используются динамическое разрешение и динамическая частота выборки кадров. В метаданных указан английский язык, однако полный набор поддерживаемых языков в README не раскрыт, как и размер контекстного окна. К сильным сторонам относятся компактный размер, сниженные требования к памяти благодаря 4-битному представлению, работа с визуальными документами, видео и структурированными ответами, а также поддержка агентских задач. Ограничения включают меньшую ёмкость по сравнению с версиями на 7 и 72 миллиарда параметров и неравномерные результаты на разных бенчмарках; производительность зависит от типа визуального и агентского сценария. Лицензия указана как qwen-research; подробные условия приведены по ссылке на лицензию базовой модели.

JANGQ-AI представляет JANGTQ4 — квантованную версию мультимодальной модели Qwen3.6-35B-A3B, подготовленную для MLX и Apple Silicon. Модель предназначена для диалогов, анализа изображений и агентных сценариев; поддерживает интерфейс вызова инструментов. В исходной модели 35 млрд параметров, около 3 млрд активируются на токен. Архитектура MoE сочетает 30 слоёв Gated DeltaNet с линейным вниманием и 10 слоёв полного внимания, а также 256 маршрутизируемых экспертов и одного общего эксперта. В JANGTQ4 веса маршрутизируемых экспертов сжаты до 4 бит методом TurboQuant с кодовыми книгами Lloyd–Max и преобразованием Адамара; ряд остальных компонентов хранится в 8-битном формате, а башня зрения сохранена. Репозиторий использует safetensors и библиотеку MLX. Для загрузки квантованных тензоров требуется специальный загрузчик JANG Tools; стандартный mlx_lm.load() их не поддерживает. README указывает, что для видео в MLX-пути нужна собственная обёртка, а для основного mlx-vlm рекомендуется ограничиться изображениями. Лицензия — Apache-2.0.

Qwen3.7 Flash — мультимодальная модель рассуждения с поддержкой изображений, разработанная Alibaba. Она предназначена для мультимодальных агентов, визуального программирования, поиска и взаимодействия с компьютером, а также задач распознавания объектов и пространственного понимания. Модель принимает текст и изображения и генерирует текст.

lesa80/Qwen3.8-27B-MLX-bf16 — версия Qwen3.8-27B в формате MLX с весами bfloat16, подготовленная для запуска на системах Apple с MLX. Это плотная мультимодальная модель с архитектурой Qwen3.5 и 27 млрд параметров, основанная на Qwen/Qwen3.8-27B. Модель принимает текст и изображения, поддерживает анализ видео, диалоговый режим и интерфейс вызова инструментов; заявленная длина контекста — 262 тыс. токенов. Поддерживаются русский, английский и китайский языки. Модель предназначена для ответов на вопросы по изображениям и видео, многошаговых рассуждений и диалоговых задач. Версия в bfloat16 занимает около 51 ГБ и требует не менее 64 ГБ оперативной памяти. Репозиторий распространяется по лицензии Apache-2.0.

WaveCut/Qwen3.8-27B-MXFP8-CRACK-NInfer — артефакт модели в формате .ninfer, подготовленный для движка NInfer компанией или пользователем WaveCut на основе community fine-tune dealignai/Qwen3.8-27B-MXFP8-CRACK и базовой модели Qwen/Qwen3.8-27B. Модель предназначена для локального инференса на одной CUDA-видеокарте, поддерживает текстовые и визуальные входные данные и может использоваться через CLI либо совместимый с OpenAI/Anthropic сервер NInfer для генерации и задач понимания изображений. Точные прикладные возможности fine-tune в README не раскрыты. Архитектура соответствует Qwen3.8-27B; артефакт содержит 1118 тензоров и 6 ресурсов интерфейса, включая токенизатор, chat template и конфигурации препроцессора. Используется профиль NInfer groupwise-int с групповой квантизацией, включающей Q4/Q5/Q6/W8 и BF16; исходные веса были деквантизированы в BF16 и повторно квантизированы, поэтому возможна немного меньшая точность по сравнению с нативной BF16-версией того же fine-tune. Максимальный контекст зависит от конфигурации и оборудования: в примере запуска указан 16384 токена, а вариант ninfer-3090 заявляет до 171K токенов INT8-контекста на RTX 3090. Основное преимущество — запуск 27-миллиардной мультимодальной модели на одной видеокарте с оптимизированным CUDA/C++-движком; артефакт проверен пробным запуском с согласованным выводом. Основные ограничения — зависимость от NInfer, CUDA и совместимой видеокарты, специализация upstream-движка на RTX 5090-классе и одна GPU, а также потенциальная потеря качества из-за двойной квантизации. Для RTX 3090 рекомендуется отдельная ветка ninfer-3090. В README не указаны языки модели и точные значения параметров или размер контекста официальной архитектуры. Лицензия — Apache-2.0, как у указанного артефакта и upstream-моделей.

unsloth/Qwen3-8B-Base-unsloth-bnb-4bit — это 4-битная квантованная версия базовой причинной языковой модели Qwen3-8B-Base, подготовленная Unsloth на основе модели Qwen от команды Qwen. Модель предназначена для генерации и продолжения текста, языкового моделирования, программирования, STEM-задач, рассуждений и других сценариев, где требуется компактная локальная LLM. Поскольку это базовая предобученная модель, она не ориентирована специально на выполнение пользовательских инструкций или ведение диалога без дополнительной настройки. Модель содержит около 8,2 млрд параметров, из которых 6,95 млрд не относятся к embedding-слою, включает 36 слоёв и использует Grouped Query Attention с 32 головами запросов и 8 головами ключей и значений. Максимальная длина контекста составляет 32 768 токенов. Qwen3 обучалась на корпусе объёмом 36 трлн токенов, охватывающем 119 языков, с данными по программированию, STEM, рассуждениям, книгам, многоязычным и синтетическим материалам. Квантование уменьшает требования к памяти и упрощает локальный запуск, однако может сопровождаться потерей точности по сравнению с исходной полноразмерной версией. Для работы рекомендуется актуальная версия библиотеки transformers; версия ниже 4.51.0 не поддерживает архитектуру Qwen3. Модель распространяется по лицензии Apache-2.0.

Карточка модели southwood-luo/Qwen3-Embedding-0.6B на Hugging Face совпадает с карточкой Qwen/Qwen3-Embedding-0.6B, поэтому описание составлено по ней. Qwen3-Embedding-0.6B — многоязычная модель эмбеддингов текста семейства Qwen3, разработанная командой Qwen. Это дообученная версия Qwen/Qwen3-0.6B-Base с плотной архитектурой Qwen3ForCausalLM и примерно 507,6 млн параметров. Модель предназначена для преобразования текста в векторы и поиска семантически близких текстов; её применяют для поиска и извлечения документов, поиска по коду, классификации, кластеризации и сопоставления параллельных текстов. Модель поддерживает более 100 естественных языков и языков программирования, обрабатывает контекст до 32 768 токенов и выдаёт эмбеддинги размерностью до 1024, включая пользовательские размерности от 32 до 1024. Она поддерживает инструкции, настраиваемые под задачу, язык или сценарий, что может улучшать качество поиска. README описывает серию как сильную в многоязычных задачах эмбеддингов, но приведённые в нём отдельные лидирующие результаты относятся к модели 8B, а не к версии 0.6B. Для использования требуется совместимая версия Transformers: в версиях ранее 4.51.0 возможно возникновение ошибки распознавания архитектуры. Лицензия — Apache-2.0.

Qwen3-VL-30B-A3B-Instruct — мультимодальная модель семейства Qwen3-VL, представленная Unsloth как репозиторий весов с исправлениями шаблона чата. Она предназначена для диалога по изображениям и видео, визуального распознавания, OCR, пространственных рассуждений и взаимодействия с графическими интерфейсами через инструменты. Также поддерживает генерацию текста и решение задач STEM и математики с опорой на визуальные данные. Модель использует архитектуру Qwen3-VL MoE и распространяется в формате safetensors. В README указано контекстное окно 256 тыс. токенов с возможностью расширения до 1 млн. Заявлена поддержка OCR на 32 языках, однако их перечень в предоставленных данных отсутствует. Лицензия — Apache-2.0. В README описаны сильные стороны в понимании видео с временными метками, разборе длинных документов и мелких визуальных деталей, а также в работе с интерфейсами и пространственными отношениями. Эти заявления не сопровождаются приведёнными в карточке результатами тестирования; фактическое качество может зависеть от сценария и конфигурации запуска.

FuriosaAI публикует эту сборку Qwen3-VL-32B-Thinking вместе с пакетом Furiosa Executable Bundle для запуска на ускорителях FuriosaAI RNGD через Furiosa-LLM. Это плотная мультимодальная модель с 32 млрд параметров: она сочетает визуальный энкодер и трансформерный декодер, использует Interleaved-MRoPE и слияние признаков DeepStack. Квантизация не применялась; веса сохраняют точность исходной модели Qwen/Qwen3-VL-32B-Thinking. Модель принимает изображения и текст, а отвечает текстом. Она предназначена для распознавания текста на изображениях, анализа документов и диаграмм, пространственных рассуждений и понимания видео. Версия Thinking формирует рассуждение перед итоговым ответом; также поддерживается вызов инструментов. README описывает запуск через Furiosa-LLM на RNGD, а также совместимость с vLLM, SGLang и Transformers. Модель выпущена под лицензией Apache 2.0. Для запуска на RNGD требуется конфигурация с 32 PE, распределёнными по четырём картам RNGD; отдельные ограничения качества в предоставленных материалах не описаны.

Карточка модели Yaldat/Yalda-Embedding6 на Hugging Face совпадает с карточкой Qwen/Qwen3-Embedding-0.6B, поэтому описание составлено по ней. Qwen3-Embedding-0.6B — многоязычная модель эмбеддингов текста семейства Qwen3, разработанная командой Qwen. Это дообученная версия Qwen/Qwen3-0.6B-Base с плотной архитектурой Qwen3ForCausalLM и примерно 507,6 млн параметров. Модель предназначена для преобразования текста в векторы и поиска семантически близких текстов; её применяют для поиска и извлечения документов, поиска по коду, классификации, кластеризации и сопоставления параллельных текстов. Модель поддерживает более 100 естественных языков и языков программирования, обрабатывает контекст до 32 768 токенов и выдаёт эмбеддинги размерностью до 1024, включая пользовательские размерности от 32 до 1024. Она поддерживает инструкции, настраиваемые под задачу, язык или сценарий, что может улучшать качество поиска. README описывает серию как сильную в многоязычных задачах эмбеддингов, но приведённые в нём отдельные лидирующие результаты относятся к модели 8B, а не к версии 0.6B. Для использования требуется совместимая версия Transformers: в версиях ранее 4.51.0 возможно возникновение ошибки распознавания архитектуры. Лицензия — Apache-2.0.

RedHatAI/GLM-5.2-MXFP4xMXFP8 — квантизированная версия языковой модели zai-org/GLM-5.2, разработанная RedHatAI. Это текстовая causal language model с архитектурой GlmMoeDsaForCausalLM, предназначенная для генерации текста и инференса, в том числе с использованием vLLM. Заявленные языки — английский и китайский. Модель использует квантование весов MoE-линейных слоёв, включая экспертные и shared expert-компоненты, до 4-битного формата MXFP4, а активаций — до MXFP8 с динамическим масштабированием. Среднее число бит на параметр снижено примерно до 4,5: размер модели на диске уменьшается приблизительно с 1,47 ТБ в формате BF16 до 424 ГБ, а потребность в дисковой и GPU-памяти — примерно на 72%. Остальные компоненты трансформерных блоков не квантизуются. Ключевое преимущество модели — существенное сокращение требований к памяти при сохранении возможности инференса крупной MoE-модели. Чекпойнт подготовлен в формате compressed-tensors с помощью LLM Compressor и рассчитан на развёртывание в vLLM; в README приведена конфигурация с tensor parallelism на 8 устройств, FP8 KV-cache, speculative decoding и поддержкой вызова инструментов. При этом поддержка данного квантизированного чекпойнта в vLLM обозначена как экспериментальная, а квантование выполнено методом RTN без калибровочных данных, что может ограничивать качество по сравнению с исходной моделью. Лицензия в предоставленных данных не указана. Контекстное окно, точное число параметров, мультимодальные возможности и результаты оценки качества также не раскрыты.

GLM-5.3-Flash-MLX-4bit — это сборка модели GLM-5.3-Flash от zai-org, адаптированная PipeNetwork для MLX на устройствах с Apple Silicon. Модель имеет архитектуру Mixture-of-Experts общим размером 320B параметров, из которых активируется 18B (A18B), и поддерживает обработку текста и изображений. В ней сочетаются 34 слоя линейного внимания Kimi-Delta и 11 слоёв разреженного внимания DeepSeek с NoPE MLA и lightning indexer, а также manifold-constrained hyper-connections. Контекст, список поддерживаемых языков и точные сценарии мультимодального применения в README не указаны. Чекпойнт занимает 177,6 ГБ и квантизирован преимущественно в 4-bit с размером группы 64; vision tower сохранён в bfloat16, а отдельные компоненты — в 8-bit, float32 или исходном формате. По сравнению с 8-bit-версией равномерная 4-bit-квантизация показывает более высокую perplexity на wikitext-2, поэтому экономит место и память ценой некоторого снижения качества. Архитектура исходной модели сохранена, но слой multi-token prediction не включён. Для запуска требуется MLX-совместимое окружение и исправленный runtime из проекта PipeNetwork, поскольку стандартная ветка mlx-vlm содержит несовпадения вычислений. Размер модели ограничивает применение устройствами с большим объёмом памяти; README также не приводит конкретных требований к объёму RAM или VRAM. Модель распространяется по лицензии MIT.

OneNexus/GLM-5.3-Flash-MXFP4 — это чекпойнт модели GLM-5.3-Flash, разработанный OneNexus на базе zai-org/GLM-5.3-Flash. Модель предназначена для серверной обработки текстовых запросов и задач преобразования изображений в текст, включая сценарии с длинным контекстом и мультимодальными запросами. Заявлены английский и китайский языки; обработка видео не оценивалась. Модель имеет 320 млрд параметров, из которых 18 млрд активируются при обработке запроса. В большинстве слоёв используются маршрутизируемые эксперты с форматом весов MXFP4, а для других тензоров сохраняется заявленная точность. Архитектура включает разреженное внимание, K-пул для выбора контекста и встроенный механизм speculative decoding MTP с EAGLE. Максимальный контекст составляет 1 048 576 токенов, однако описанные тесты AgentX использовали ограничение 262 144 токена. Индексированный объём тензоров — около 182,12 GiB. На фиксированных выборках модель показала небольшие преимущества над amd/GLM-5.3-Flash-Quark-MXFP4 в MMLU и GPQA Diamond, но немного уступила в GSM8K; статистически значимое превосходство не установлено. Измеренная производительность при обслуживании запросов практически совпала с сопоставимым чекпойнтом AMD. Результаты зависят от ограничений длины ответа и не подтверждают превосходство в общем качестве, безопасности или агентских сценариях. Основной проверенный вариант развёртывания использует четыре AMD Instinct MI355X, ROCm и SGLang с TP4/EP4 и FP8 KV-кэшем. Лицензия — MIT.

Карточка модели sworge/poc-custom-arch на Hugging Face совпадает с карточкой Qwen/Qwen2.5-0.5B-Instruct, поэтому описание составлено по ней. Qwen/Qwen2.5-0.5B-Instruct — компактная инструктивно настроенная языковая модель семейства Qwen2.5, разработанная командой Qwen. Она предназначена для диалогов, выполнения инструкций и генерации текста, включая длинные ответы, структурированные данные и JSON; также может применяться для простых задач по коду и математике. Модель построена на архитектуре Qwen2 с причинным языковым моделированием и содержит 494 млн параметров. В карточке указаны 24 слоя, RoPE, SwiGLU, RMSNorm и группированное внимание; контекст — 32 768 токенов, генерация — до 8 192 токенов. Модель работает с текстом, поддерживает чат и интерфейс вызова инструментов. Семейство Qwen2.5 заявляет поддержку более 29 языков, включая русский и английский. Небольшой размер упрощает запуск по сравнению с крупными языковыми моделями, но ограничивает сложность задач, которые она может надёжно решать. Модель распространяется по лицензии Apache-2.0; для загрузки через Transformers рекомендуется актуальная версия библиотеки.

perplexity-ai/pplx-computer-qwen-3-6-35b-a3b-mlx-20260709 — локальная языковая модель, опубликованная Perplexity и предназначенная для Perplexity Computer. Она используется в сценариях Hybrid Compute на Mac: локально обрабатывает файлы, конфиденциальные сведения и действия на устройстве, тогда как облачная часть системы выполняет поиск, планирование и более сложное рассуждение. Модель доступна в формате MLX для запуска на Apple silicon. Модель относится к семейству Qwen3.6 и имеет 35 млрд параметров при конфигурации с 3 млрд активных параметров (35B-A3B). Для семейства Qwen3.6 указана разреженная hybrid-архитектура с маршрутизацией Mixture-of-Experts, сочетающая рекуррентные состояния фиксированного размера с full attention. Опубликованный checkpoint использует groupwise affine 4-bit quantization и занимает около 19,4–19,5 ГБ. Подтверждённые модальности и языки, размер контекстного окна, результаты оценки и подробности дообучения для данной версии не указаны. Сильные стороны модели — возможность локального выполнения задач с чувствительными данными, уменьшенный объём весов и оптимизация для Apple silicon. Ограничения связаны с необходимостью совместимого Mac на Apple silicon и достаточного объёма unified memory; в Hybrid Compute требуется не менее 24 ГБ, а 32 ГБ рекомендуются для лучших результатов. Лицензионные условия для этого репозитория в доступных первоисточниках явно не указаны, поэтому свободное коммерческое использование и условия перераспределения подтверждать нельзя.

Карточка модели ArchiveStudio/Qwen3-Embedding-0.6B на Hugging Face совпадает с карточкой Qwen/Qwen3-Embedding-0.6B, поэтому описание составлено по ней. Qwen3-Embedding-0.6B — многоязычная модель эмбеддингов текста семейства Qwen3, разработанная командой Qwen. Это дообученная версия Qwen/Qwen3-0.6B-Base с плотной архитектурой Qwen3ForCausalLM и примерно 507,6 млн параметров. Модель предназначена для преобразования текста в векторы и поиска семантически близких текстов; её применяют для поиска и извлечения документов, поиска по коду, классификации, кластеризации и сопоставления параллельных текстов. Модель поддерживает более 100 естественных языков и языков программирования, обрабатывает контекст до 32 768 токенов и выдаёт эмбеддинги размерностью до 1024, включая пользовательские размерности от 32 до 1024. Она поддерживает инструкции, настраиваемые под задачу, язык или сценарий, что может улучшать качество поиска. README описывает серию как сильную в многоязычных задачах эмбеддингов, но приведённые в нём отдельные лидирующие результаты относятся к модели 8B, а не к версии 0.6B. Для использования требуется совместимая версия Transformers: в версиях ранее 4.51.0 возможно возникновение ошибки распознавания архитектуры. Лицензия — Apache-2.0.

Карточка модели ejenpkewSnau/Qwen3-Embedding-0.6B на Hugging Face совпадает с карточкой Qwen/Qwen3-Embedding-0.6B, поэтому описание составлено по ней. Qwen3-Embedding-0.6B — многоязычная модель эмбеддингов текста семейства Qwen3, разработанная командой Qwen. Это дообученная версия Qwen/Qwen3-0.6B-Base с плотной архитектурой Qwen3ForCausalLM и примерно 507,6 млн параметров. Модель предназначена для преобразования текста в векторы и поиска семантически близких текстов; её применяют для поиска и извлечения документов, поиска по коду, классификации, кластеризации и сопоставления параллельных текстов. Модель поддерживает более 100 естественных языков и языков программирования, обрабатывает контекст до 32 768 токенов и выдаёт эмбеддинги размерностью до 1024, включая пользовательские размерности от 32 до 1024. Она поддерживает инструкции, настраиваемые под задачу, язык или сценарий, что может улучшать качество поиска. README описывает серию как сильную в многоязычных задачах эмбеддингов, но приведённые в нём отдельные лидирующие результаты относятся к модели 8B, а не к версии 0.6B. Для использования требуется совместимая версия Transformers: в версиях ранее 4.51.0 возможно возникновение ошибки распознавания архитектуры. Лицензия — Apache-2.0.

alexliap/Qwen3-Embedding-8B-NVFP4 — квантизированная версия модели Qwen3-Embedding-8B, разработанной командой Qwen. Модель предназначена для получения текстовых эмбеддингов и решения задач семантического поиска, извлечения документов, поиска по коду, классификации, кластеризации и двуязычного сопоставления текстов. Она поддерживает инструкции, задающие целевой сценарий или язык, и может использоваться, например, для поиска релевантных фрагментов по пользовательскому запросу. Модель содержит около 8 млрд параметров, имеет контекст длиной до 32K токенов и поддерживает более 100 языков, включая языки программирования. Размер выходного вектора можно выбирать в диапазоне от 32 до 4096 измерений; максимальная размерность составляет 4096. Все линейные слои квантизированы по схеме NVFP4 с использованием llmcompressor и формата compressed-tensors, что предназначено для снижения требований к хранению и ускорения инференса на совместимом оборудовании. В README приведён пример запуска через vLLM в режиме embed. К сильным сторонам относятся мультиязычность, поддержка длинного контекста, инструкционно-управляемые эмбеддинги и гибкая размерность векторов. Возможные ограничения связаны с потерями качества из-за квантизации и с тем, что калибровка выполнялась всего на 100 примерах греческого языка длиной до 4096 токенов, поэтому поведение на других языках и типах данных может отличаться. Модель распространяется по лицензии Apache-2.0.

Qwen3-VL-4B-Instruct-abliterated-v1-GGUF — мультимодальная vision-language модель от prithivMLmods, основанная на Alibaba Qwen3-VL-4B-Instruct. Это GGUF-версия модели примерно с 4 млрд параметров, изменённая методом abliteration для удаления стандартных отказов и фильтров безопасности. Модель предназначена для генерации текста по изображениям и инструкциям, подробного описания визуального содержимого, визуального рассуждения и выполнения инструкций в сложных, чувствительных, художественных и технических сценариях. Модель поддерживает анализ изображений и видео, OCR на 32 языках, работу с различными разрешениями и соотношениями сторон, а также контекст до 256K токенов. Она подходит для разбора пользовательских интерфейсов, извлечения данных из документов, интерпретации графиков, captioning и агентских задач. Основным языком указан английский, при этом заявлена возможность работы с многоязычными запросами. Доступны варианты квантования GGUF размером примерно от 1,06 до 8,05 ГБ, что позволяет запускать модель на потребительских GPU; для BF16 указано требование около 10–12 ГБ VRAM. Сильной стороной является сочетание мультимодального анализа, длинного контекста, OCR и отсутствия обычных защитных отказов, что может быть полезно для исследований, red-teaming и творческих приложений. Ограничением является потенциально менее безопасное поведение из-за удаления защитных механизмов, а также возможное снижение качества при использовании наиболее агрессивных вариантов квантования. Модель распространяется по лицензии Apache-2.0.

TheUnderscore/Swift-Qwen3.8-27b-W4A16-AWQ — квантизированная версия модели Swift-Qwen3.8-27b от UkisAI, подготовленная в формате AWQ с использованием compressed-tensors. Модель относится к семейству Qwen3.5/Qwen3.8 и предназначена для генерации текста и мультимодальных сценариев image-text-to-text, где требуется обработка изображений и текста. В репозитории указана библиотека Transformers, а запуск протестирован с LMDeploy Turbomind. Основная часть линейных весов представлена в формате W4A16: используются 4-битные асимметричные веса с размером группы 128 и 16-битные активации. Эмбеддинги, lm_head, нормализации, отдельные компоненты linear attention, vision tower и MTP head сохранены в BF16. Размер базовой модели — 27 млрд параметров. Архитектура использует гибридное внимание, а параметры модели и рекомендуемые настройки генерации унаследованы от базовой версии; поддерживаемые языки и максимальный размер контекста в README не указаны. Ключевое преимущество версии — существенное снижение требований к памяти за счёт W4A16-квантизации при сохранении полной точности отдельных мультимодальных и вспомогательных компонентов. Для запуска рекомендуется LMDeploy Turbomind с форматом compressed-tensors; пример конфигурации использует tensor parallelism с tp=2. Ограничения включают необходимость gated-доступа к весам Swift и потенциальные особенности совместимости с поддерживаемым программным стеком; отдельные количественные оценки качества после квантизации не приведены. Модель распространяется по лицензии Swift Open License v1.0. Персональное, исследовательское, образовательное, оценочное и коммерческое использование бесплатно для физических и юридических лиц с годовой регулярной выручкой, включая аффилированные организации, до 1 000 000 долларов США. При превышении этого порога для коммерческого использования требуется отдельная Swift Enterprise License.

Yalda Embedding — модель текстовых эмбеддингов, разработанная Yaldat для плотного поиска и семантического поиска на персидском языке (фарси). Она дообучена на базе Qwen/Qwen3-Embedding-0.6B на более чем миллионе пар «запрос — документ» с применением дистилляции отношений от F2LLM-v2-8B. В метаданных указаны архитектура Qwen3, 507,6 млн параметров и контекст до 32 768 токенов; README указывает 595 776 512 параметров и эмбеддинги размерности 1 024. Модель предназначена для поиска документов по запросам и ранжирования кандидатов по семантической близости. В оценке на восьми задачах персидского поиска из FaMTEB она получила средний результат 0,5488, близкий к показателю Qwen3-Embedding-4B; заявленное преимущество ограничено сравнением оценённых моделей размером 0,6B и этими задачами. Модель доступна в формате safetensors и рассчитана на использование через Sentence Transformers. Лицензия — Apache-2.0. Экспериментальные результаты охватывают персидский поиск; качество для других языков, классификации, кластеризации и длинного контекста в README не подтверждено. В обучении использовались пары запрос-документ и дистилляция, поэтому модель может наследовать предпочтения и ошибки учителя.

Карточка модели Yaldat/Yalda-Embedding4 на Hugging Face совпадает с карточкой Qwen/Qwen3-Embedding-0.6B, поэтому описание составлено по ней. Qwen3-Embedding-0.6B — многоязычная модель эмбеддингов текста семейства Qwen3, разработанная командой Qwen. Это дообученная версия Qwen/Qwen3-0.6B-Base с плотной архитектурой Qwen3ForCausalLM и примерно 507,6 млн параметров. Модель предназначена для преобразования текста в векторы и поиска семантически близких текстов; её применяют для поиска и извлечения документов, поиска по коду, классификации, кластеризации и сопоставления параллельных текстов. Модель поддерживает более 100 естественных языков и языков программирования, обрабатывает контекст до 32 768 токенов и выдаёт эмбеддинги размерностью до 1024, включая пользовательские размерности от 32 до 1024. Она поддерживает инструкции, настраиваемые под задачу, язык или сценарий, что может улучшать качество поиска. README описывает серию как сильную в многоязычных задачах эмбеддингов, но приведённые в нём отдельные лидирующие результаты относятся к модели 8B, а не к версии 0.6B. Для использования требуется совместимая версия Transformers: в версиях ранее 4.51.0 возможно возникновение ошибки распознавания архитектуры. Лицензия — Apache-2.0.

Карточка модели Yaldat/Yalda-Embedding7 на Hugging Face совпадает с карточкой Qwen/Qwen3-Embedding-0.6B, поэтому описание составлено по ней. Qwen3-Embedding-0.6B — многоязычная модель эмбеддингов текста семейства Qwen3, разработанная командой Qwen. Это дообученная версия Qwen/Qwen3-0.6B-Base с плотной архитектурой Qwen3ForCausalLM и примерно 507,6 млн параметров. Модель предназначена для преобразования текста в векторы и поиска семантически близких текстов; её применяют для поиска и извлечения документов, поиска по коду, классификации, кластеризации и сопоставления параллельных текстов. Модель поддерживает более 100 естественных языков и языков программирования, обрабатывает контекст до 32 768 токенов и выдаёт эмбеддинги размерностью до 1024, включая пользовательские размерности от 32 до 1024. Она поддерживает инструкции, настраиваемые под задачу, язык или сценарий, что может улучшать качество поиска. README описывает серию как сильную в многоязычных задачах эмбеддингов, но приведённые в нём отдельные лидирующие результаты относятся к модели 8B, а не к версии 0.6B. Для использования требуется совместимая версия Transformers: в версиях ранее 4.51.0 возможно возникновение ошибки распознавания архитектуры. Лицензия — Apache-2.0.

dots.mocr — мультимодальная модель семейства dots_ocr от dots-studio для разбора документов и изображений с текстом. Она предназначена для распознавания текста и структуры страниц: находит элементы макета, их ограничивающие рамки и категории, извлекает текст и формирует Markdown. Также модель интерпретирует диаграммы, интерфейсы и научные иллюстрации и может преобразовывать структурированную графику в SVG-код; поддерживает интерактивный диалог по визуальному содержимому. Модель имеет плотную архитектуру DotsOCRForCausalLM и 1,5 млрд параметров; указанный размер контекста — 131 072 токена. Карточка заявляет мультиязычную поддержку, в том числе английского и китайского. Для развёртывания рекомендуются vLLM и Transformers; лицензия — MIT. Среди ограничений карточка отмечает трудности с комплексными таблицами и математическими формулами, недостаточно надёжный разбор графических изображений в SVG и периодические сбои разбора. Заявления о качестве на бенчмарках приведены в README, но сами таблицы с результатами здесь опущены.

Adolphsson/Gemma-4-E4B-Uncensored-HauhauCS-Aggressive-MTP-NVFP4 — мультимодальная модель для работы с текстом, изображениями и аудио. Это общественный, вручную собранный чекпойнт на основе Gemma-4-E4B и дообучения HauhauCS/Gemma-4-E4B-Uncensored-HauhauCS-Aggressive. Модель не является официальным релизом Google или HauhauCS; сборку подготовил автор Adolphsson. Текстовый трансформер содержит 42 слоя со скрытым размером 2560. Он квантизован в формат NVFP4 W4A4 с 4-битными весами и активациями, а таблицы эмбеддингов используют FP8 e4m3 с построчными масштабами F32. Зрительный модуль и аудиоэнкодер сохранены в BF16. Модель поддерживает английский и другие языки, а также мультимодальные сценарии с изображениями и аудио. Заявлено контекстное окно до 131 072 токенов, однако фактическая доступная длина зависит от видеопамяти и настроек сервера. Основные преимущества — небольшой размер около 6,2 ГБ, возможность запуска на одной RTX 5090, высокая скорость декодирования с MTP speculative decoding и заметно увеличенный объём KV-кэша благодаря FP8-эмбеддингам. Для работы требуется vLLM с патчем из репозитория: без него FP8-таблицы эмбеддингов загружаются некорректно, что приводит к деградации генерации. Производительность и совместимость в README проверены на vLLM 0.28, Python 3.12, CUDA 13 и RTX 5090; заявленные показатели зависят от оборудования, параметров запуска и сценария нагрузки. Модель распространяется по лицензии Apache-2.0.

Huihui-Qwen3.8-27B-abliterated-NVFP8 — это квантованная версия Huihui-Qwen3.8-27B-abliterated, опубликованная trailio и происходящая от Qwen/Qwen3.8-27B от Qwen. Модель предназначена для генерации текста и обработки изображений с текстом; в метаданных указана модальность image-text-to-text. Языки явно не перечислены. Базовая модель имеет 27,78 млрд параметров, из которых 24,33 млрд подвергнуты квантованию, а визуальная часть с ViT из 27 блоков и merger оставлена в BF16. В README не указано точное максимальное окно контекста; пример запуска использует 8192 токена. Основная особенность — weight-only-квантование W8A16 в нестандартный формат NVFP8: FP8 E4M3 с блочными масштабами размера 16 и двухуровневым масштабированием. Размер весов сокращён с 55,6 до 32,8 ГБ, относительная ошибка квантования указана на уровне 0,0252. Активации остаются в BF16, а Triton-ядро демонстрирует ошибку не более 3,7×10⁻³ относительно FP32-эталона. Квантование выполняется без калибровочного набора данных. Модель подходит для локального инференса в vLLM при ограниченных ресурсах видеопамяти, однако стандартный vLLM этот формат не загружает: необходимо скачать репозиторий локально и установить поставляемый пакет через pip. Требуются GPU с архитектурой sm_89 или новее и около 35 ГБ VRAM во время работы без учёта KV-кэша; заявлена проверка на RTX PRO 6000 Blackwell с vLLM 0.27.1. На CUDA младше 12.9 возможны проблемы FlashInfer. Производитель отмечает, что abliteration удаляет поведение отказа, поэтому к модели применимы оговорки о сниженной фильтрации базовой модели. Лицензия — Apache 2.0.