II.11Кибербезопасность и приватность

Карточка модели wepsitesi/GLM-5.2 на Hugging Face совпадает с карточкой zai-org/GLM-5.2, поэтому описание составлено по ней. GLM-5.2 — флагманская языковая модель компании Z.ai для длительных задач и диалогового взаимодействия. Она предназначена для генерации текста, программирования и решения задач, требующих работы с большим объёмом контекста. Модель построена на архитектуре GLM MoE DSA и содержит 30,4 млрд параметров. Поддерживает контекст до 1 048 576 токенов; в README также отмечены гибкие уровни усилий для задач программирования, механизм IndexShare для снижения вычислений на длинном контексте и улучшение MTP для ускорения спекулятивного декодирования. Заявлены английский и китайский языки. Модель доступна в формате safetensors для Transformers и поддерживается рядом сред локального запуска, включая vLLM и SGLang. Лицензия — MIT. README приводит сравнительные результаты на бенчмарках, но они зависят от настроек и сценариев оценки.

MiniMax-M1-40k — открытая по весам языковая модель MiniMax AI для рассуждений, генерации текста и работы в агентных сценариях. Она использует гибридную архитектуру Mixture-of-Experts с механизмом lightning attention и обучалась с подкреплением на задачах от математических рассуждений до программной инженерии. Вариант 40k рассчитан на бюджет рассуждений до 40 тысяч токенов; метаданные указывают 21,6 млрд параметров и контекст до 10 240 000 токенов. Модель подходит для решения сложных математических задач, написания и анализа кода, работы с длинными документами и использования инструментов через интерфейс function calling. В карточке приведены результаты тестирования на математических, программных, агентных и длинноконтекстных задачах; авторы рекомендуют температуру 1,0 и top_p 0,95. Модель принимает и генерирует текст. README описывает её как модель общего назначения, но не перечисляет поддерживаемые естественные языки. Лицензия репозитория — Apache-2.0. Для воспроизведения результатов стоит учитывать, что оценки SWE-bench получены на выбранном подмножестве задач с описанной авторами методикой.

Qwen3-Coder-480B-A35B-Instruct-GGUF — это квантованная версия инструкционной модели Qwen3-Coder-480B-A35B-Instruct, разработанной командой Qwen. Модель опубликована в формате GGUF для использования в совместимых приложениях, включая LM Studio, и предназначена прежде всего для генерации текста и работы с программным кодом в диалоговом формате. Квантование выполнено bartowski на основе llama.cpp, релиз b5962. В README указано обозначение исходной модели с общим размером 480B и конфигурацией A35B, однако подробности архитектуры, фактический размер конкретного GGUF-файла, поддерживаемые языки программирования и естественные языки, модальности и длина контекста не приведены. Формат GGUF и поддержка llama.cpp упрощают локальный запуск в совместимом программном обеспечении, но характеристики производительности, требования к памяти, качество ответов и ограничения конкретного уровня квантования в README не описаны. Лицензия модели и условия использования также не указаны; их следует уточнять на странице исходной модели Qwen/Qwen3-Coder-480B-A35B-Instruct и у распространителя квантованной версии.

Qwen3-Embedding-4B — мультиязычная модель для построения текстовых эмбеддингов из семейства Qwen3, разработанная командой Qwen. Это плотная модель на базе Qwen3-4B-Base, дообученная для задач поиска и сравнения текстов. Репозиторий содержит веса в формате safetensors; лицензия — Apache-2.0. Модель подходит для семантического поиска по документам и коду, оценки сходства предложений, классификации и кластеризации текстов, а также поиска соответствий между языками. Она поддерживает более 100 языков, контекст до 40 960 токенов по метаданным и до 32 тысяч токенов в описании модели. Размер эмбеддинга можно настраивать от 32 до 2560 измерений; также поддерживаются инструкции, настраивающие представление под задачу.

Qwen_Qwen3-Coder-Next-GGUF — это квантизированная версия текстовой генеративной модели Qwen3-Coder-Next, разработанной Qwen. Квантизация выполнена bartowski в формате GGUF с использованием llama.cpp и метода imatrix. Модель предназначена прежде всего для генерации и обработки текста, включая задачи, связанные с программированием, и может запускаться через llama.cpp, LM Studio, KoboldCpp, Jan AI и другие совместимые приложения. Доступны варианты квантизации от Q8_0 до Q3 и IQ3/IQ4, благодаря чему можно выбирать между качеством ответа, размером файлов и требованиями к оперативной памяти. Размеры представленных файлов составляют примерно от 31,73 до 84,81 ГБ; некоторые варианты разделены на несколько частей. Наиболее качественными считаются Q8_0 и варианты Q6, а Q4_K_M указан как типовой компромисс между качеством и размером. Поддерживаемые модальности, языки, архитектура, количество параметров и размер контекста в README не указаны. Сильной стороной модели является возможность локального запуска и широкий выбор уровней квантизации, включая варианты, оптимизированные для различных аппаратных конфигураций. Ограничения связаны с большими требованиями к дисковому пространству и памяти, а также с потенциальным снижением качества у низкобитных вариантов; для недавно поддерживаемых моделей может потребоваться обновление используемого приложения. Модель распространяется по лицензии Apache-2.0.

ValiantLabs_Muse-Glimmer-30B-Esper4-GGUF — это квантизированная версия модели Muse-Glimmer-30B-Esper4, разработанной ValiantLabs и опубликованной в формате GGUF. Квантизацию выполнил bartowski с использованием llama.cpp и imatrix. Модель содержит около 30 млрд параметров и предназначена для локального запуска через совместимые инструменты llama.cpp. Модель поддерживает обработку текста, а также изображений при использовании соответствующего файла mmproj. Она ориентирована на англоязычные сценарии, рассуждения, программирование, разработку и DevOps-задачи, включая работу с Python, JavaScript, TypeScript, Java, C++, C#, Rust, Go, Haskell, Bash, PowerShell, Jenkins, Terraform, Ansible, Docker, Kubernetes, Helm, Grafana, Prometheus и облачными платформами. В README также заявлен высокий уровень рассуждений; MTP не поддерживается. Доступно множество вариантов квантизации от BF16 до Q3 и IQ4. Вариант Q4_K_M размером около 17,31 ГБ указан как сбалансированный по качеству и размеру, а Q5 и Q6 рекомендуются для более высокого качества. Более компактные варианты требуют меньше оперативной памяти, но могут сильнее терять качество из-за квантизации. Размер контекстного окна и подробные результаты оценивания не указаны, поэтому пригодность для длинных контекстов и фактические показатели производительности оценить нельзя. Модель распространяется по лицензии Apache 2.0. Для мультимодального использования требуется отдельный mmproj-файл; конкретные аппаратные требования зависят от выбранного варианта квантизации.

Dolphin 2.9.3 Yi 1.5 34B 32k — разговорная языковая модель, созданная Eric Hartford, Lucas Atkins, Fernando Fernandes и командой Cognitive Computations. Это дообученная на основе 01-ai/Yi-1.5-34B-32k плотная модель семейства Llama с 33,9 млрд параметров; она использует шаблон ChatML и формат PyTorch. Контекст базовой модели составляет 32 768 токенов, а дообучение проводилось с длиной последовательности 8 192 токена. Модель предназначена для диалогов, следования инструкциям, написания и анализа кода, решения математических задач, вызова функций и начальных агентных сценариев. В карточке перечислены наборы данных для диалогов, программирования, математики и работы с инструментами. Модель описана разработчиками как uncensored и склонная выполнять запросы без защитных ограничений, поэтому её ответы могут включать небезопасный или неэтичный контент. Лицензия Apache 2.0 разрешает коммерческое использование; разработчики рекомендуют самостоятельно добавить слой выравнивания перед предоставлением модели пользователям.

BoldingBuilds/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-ShimQuant-GGUF — квантизированная GGUF-версия NVIDIA Nemotron-3.5-Lightning-30B-A3B, разработанной NVIDIA. Сборка использует технологию ShimQuant и предназначена для генерации текста и программного кода, включая сценарии локального запуска на потребительских видеокартах с ограниченным объёмом памяти. Модель основана на архитектуре Nemotron H с разреженной MoE-компонентой: заявлены 30 млрд параметров при 3 млрд активных параметров (30B-A3B). Файл имеет размер около 11,77 GiB, эффективную разрядность 3,07 бит на вес и рассчитан на контекст до 262 144 токенов. В конфигурации преобладают SSM-слои, поэтому увеличение контекста требует сравнительно немного дополнительной VRAM. README не указывает поддерживаемые языки. Ключевое преимущество сборки — возможность запуска на видеокарте с 16 ГБ памяти: на RTX 5080 заявлены полный offload и загрузка контекста 262 144 токена. На тесте HumanEval модель показала pass@1 91,5%. При этом квантизация вносит заметное отклонение от эталонной версии Q8_0, а результаты зависят от выбранной конфигурации. Файл несовместим со стандартными llama.cpp, LM Studio и Ollama и требует пропатченной сборки с поддержкой ShimQuant. Лицензия указана как openmdw-1.1 (other).

Это GGUF-версия Qwen3.6-27B-AEON-Ultimate-Uncensored-BF16, подготовленная theLittleStone с квантизацией K-Quant и калибровкой iMatrix; поддерживается MTP (предсказание нескольких токенов). Калибровка использовала 20 000 примеров из набора eaddario/imatrix-calibration. Модель предназначена для генерации текста и диалогов, включая рассуждения и программирование; карточка описывает её как вариант с ослабленными отказами. Для запуска подходят llama.cpp и LM Studio. В карточке заявлено, что калибровка iMatrix улучшает точность относительно обычной квантизации той же разрядности. Репозиторий указывает форматы GGUF BF16 и варианты K-Quant, включая IQ4 и Q4_K_M; размер базовой модели — 27 млрд параметров. Метаданные отмечают английский и китайский языки, а также многоязычность. Лицензия — Apache-2.0. Это производная от AEON-7/Qwen3.6-27B-AEON-Ultimate-Uncensored-BF16 модель. Заявления карточки о точности, сохранении возможностей и снижении отказов основаны на описании автора и приведённых им проверках. Ослабленные отказы могут приводить к генерации небезопасного или нежелательного содержания; ответы модели также могут содержать ошибки.

Карточка модели ablllu/Qwen3-Embedding-4B на Hugging Face совпадает с карточкой Qwen/Qwen3-Embedding-4B, поэтому описание составлено по ней. Qwen3-Embedding-4B — мультиязычная модель для построения текстовых эмбеддингов из семейства Qwen3, разработанная командой Qwen. Это плотная модель на базе Qwen3-4B-Base, дообученная для задач поиска и сравнения текстов. Репозиторий содержит веса в формате safetensors; лицензия — Apache-2.0. Модель подходит для семантического поиска по документам и коду, оценки сходства предложений, классификации и кластеризации текстов, а также поиска соответствий между языками. Она поддерживает более 100 языков, контекст до 40 960 токенов по метаданным и до 32 тысяч токенов в описании модели. Размер эмбеддинга можно настраивать от 32 до 2560 измерений; также поддерживаются инструкции, настраивающие представление под задачу.

Qwen3-Embedding-8B — модель текстовых эмбеддингов семейства Qwen3, разработанная командой Qwen и опубликованная в формате safetensors. Она основана на Qwen/Qwen3-8B-Base и дообучена для преобразования текста в векторы, которые можно использовать для поиска и сравнения смысловой близости. Модель содержит 7,6 млрд параметров и поддерживает контекст до 40 960 токенов по метаданным; в README указана длина 32K токенов. Модель предназначена для семантического поиска по текстам и коду, извлечения информации, классификации и кластеризации текстов, поиска параллельных текстов и других задач, основанных на сходстве. Она поддерживает более 100 языков, настраиваемую размерность выходного вектора от 32 до 4096 и инструкции, задающие контекст задачи. В README для multilingual MTEB приведён результат 70,58 по состоянию на 5 июня 2025 года. Для работы с Transformers требуется версия 4.51.0 или новее: более ранние версии могут выдавать ошибку при загрузке архитектуры Qwen3. Модель распространяется по лицензии Apache-2.0; крупный размер может требовать значительных вычислительных ресурсов.

DeepSeek-V4-Flash-0731-MLX-Serve-mixed-2-3-8bit — это квантованная MLX-конверсия модели DeepSeek-V4-Flash-0731, опубликованная ddalcu и предназначенная для запуска через mlx-serve на Apple Silicon. Модель рассчитана на генерацию текста, включая диалоги, программирование, задачи coding agent и сценарии с вызовом инструментов. Она совместима с OpenAI, Anthropic и Ollama HTTP API, поэтому может использоваться с существующими клиентами и интерфейсами. В основе лежит полная модель размером 284B параметров с конфигурацией A13B. Сборка занимает 115,4 ГБ и использует смешанную точность: основные routed experts в слоях 0–38 имеют 2- и 3-битное квантование с калибровкой по матрице важности, последние четыре слоя — 4-битное, а attention, shared experts, embeddings, LM head и ряд чувствительных компонентов — 8-битную или более высокую точность. Архитектура включает MQA, сжатую историю внимания, hash-routed MoE, Sinkhorn hyper-connections, DSML-формат вызова инструментов и DSpark speculative decoding. Поддерживаются текстовые входы и выходы; в README не указаны дополнительные модальности и языковой охват. Для работы требуется Mac на Apple Silicon с не менее чем 128 ГБ unified memory, macOS 26.2 или новее и mlx-serve. Ожидаемый объём занятой памяти составляет около 98 ГБ, либо примерно 109 ГБ при использовании DSpark; заявлена скорость около 53 токенов в секунду на M-series Mac с 128 ГБ памяти и включённым DSpark. Сильными сторонами являются запуск полной 284B-A13B модели на одном совместимом Mac, native MLX-реализация без Python и калиброванное квантование, направленное на сохранение качества в агентских сценариях. Ограничениями остаются очень высокие требования к памяти и совместимость только с Apple Silicon и mlx-serve. Лицензия — MIT.

Карточка модели OpenSite/forge на Hugging Face совпадает с карточкой Qwen/Qwen3-Embedding-8B, поэтому описание составлено по ней. Qwen3-Embedding-8B — текстовая модель эмбеддингов семейства Qwen3, разработанная командой Qwen. Это плотная архитектура Qwen3ForCausalLM с 7,6 млрд параметров, дообученная на базе Qwen/Qwen3-8B-Base для получения векторных представлений текста. Модель предназначена для семантического поиска и ранжирования, а также поддерживает классификацию, кластеризацию, поиск по коду и межъязыковой поиск. Модель поддерживает более 100 естественных и программных языков, обрабатывает длинные последовательности с контекстом до 40 960 токенов по метаданным и выдаёт эмбеддинги размерностью до 4096; README также сообщает о настройке выходной размерности от 32 до 4096. Можно задавать инструкции для конкретной задачи, языка или сценария. Модель рассчитана на получение векторов из текста; метаданные также отмечают возможности чата и интерфейс вызова инструментов, но основной сценарий этой версии — эмбеддинги. По данным карточки, версия 8B заняла первое место в мультиязычном рейтинге MTEB на 5 июня 2025 года с результатом 70,58. Для некоторых задач retrieval README отмечает снижение качества примерно на 1–5% без подходящей инструкции. Для работы с поддержкой Qwen3 требуется Transformers 4.51.0 или новее. Лицензия — Apache-2.0.

GigaChat 3.5 Reasoning — текстовая модель компании-разработчика GigaChat, представленная в репозитории ai-sage как дообучение базовой модели GigaChat3.5-432B-A28B-base. Это модель Mixture-of-Experts с 432 млрд параметров и 28 млрд активных параметров; репозиторий содержит веса BF16 для дообучения и собственной квантизации. Архитектура сочетает Multi-head Latent Attention и линейные слои GatedDeltaNet, а три MTP-головы поддерживают спекулятивное декодирование. Контекст — до 262 144 токенов. Модель предназначена для диалогов и выполнения инструкций с усиленными возможностями рассуждения: особенно в математике, программировании, следовании инструкциям и структурированном выводе. Обучение включает онлайн RL на доменных экспертах и их объединение с помощью on-policy distillation. Поддерживаются русский и английский языки, а также вызов функций. Для запуска в README описана интеграция с SGLang. Лицензия — MIT. Репозиторий содержит веса BF16, предназначенные для дообучения и квантизации; для инференса README указывает отдельную модель GigaChat3.5-432B-A28B-Reasoning. Это крупная модель, для запуска которой нужна соответствующая вычислительная инфраструктура. Приведённые в карточке результаты бенчмарков зависят от указанных протоколов оценки.

GLM-4.7-Flash-REAP-23B-A3B — сжатая версия диалоговой модели GLM-4.7-Flash, созданная командой Cerebras методом REAP (Router-weighted Expert Activation Pruning). Это причинная языковая модель со sparse Mixture-of-Experts: в README указаны 23 млрд параметров, из которых активируются около 3 млрд на токен, 48 экспертов и выбор четырёх экспертов на токен. Метаданные указывают архитектуру GLM4 MoE Lite и формат safetensors. Модель предназначена для генерации текста и диалога, включая программирование, агентные сценарии, понимание больших репозиториев и вызов функций. Контекст составляет 202 752 токена. В карточке заявлено, что однократное удаление избыточных экспертов без последующего дообучения сокращает размер примерно на 25% при близкой к исходной производительности. Для развёртывания README рекомендует актуальную версию vLLM с поддержкой GLM-4.7-Flash. Лицензия — MIT. Описанные результаты производительности являются заявлениями карточки модели; независимая проверка и подробности оценочных таблиц в предоставленных данных отсутствуют. Метаданные карточки указывают английский язык.

QuantFactory/Llama-3-Hercules-5.0-8B-GGUF — квантованная версия языковой модели Llama-3-Hercules-5.0-8B, созданная с использованием llama.cpp. Базовая модель основана на Llama-3-8B и дообучена Locutusque на датасете Locutusque/hercules-v5.0. Модель предназначена для генерации текста и использует формат запросов OpenAI ChatML с поддержкой вызовов функций. Модель ориентирована на выполнение сложных многошаговых инструкций, диалоговое взаимодействие, работу с научной и технической тематикой, включая биологию, химию, физику, математику, медицину и компьютерные науки. Она может применяться для специализированных чат-ботов, образовательных ассистентов, генерации кода и сценариев, где требуется выполнение функций через вызовы инструментов. В README не указаны поддерживаемые языки и максимальная длина контекста. Ключевые ограничения включают риск галлюцинаций и фактических ошибок, особенно в специализированных областях, наличие токсичных или вредных примеров в обучающих данных, возможное воспроизведение предубеждений и риск злоупотребления функциональностью вызова функций. Условия распространения обозначены лицензией llama3.

MiniCPM5-2B-Claude-Fable5-1-Thinking-Agentic-GGUF — это набор GGUF-квантизаций 2-миллиардной текстовой модели MiniCPM5-2B, дообученной на данных Claude с акцентом на агентное использование инструментов, программирование и следование инструкциям. Модель разработана GnLOLot на базе openbmb/MiniCPM5-2B и предназначена для локального запуска через llama.cpp, Ollama, LM Studio, jan, KoboldCpp и другие совместимые среды. Поддерживаются английский и китайский языки, а встроенный шаблон чата MiniCPM5 упрощает интеграцию. Модель ориентирована на генерацию текста, написание и отладку кода, выполнение многошаговых программных задач, function calling и tool use в агентных сценариях, а также диалоговое следование инструкциям. Она работает только в Thinking-режиме, поэтому может выводить блоки рассуждений перед итоговым ответом. Заявленная длина контекста достигает 128K токенов, однако фактический объём зависит от используемого рантайма и доступной памяти. Доступны варианты F16 размером около 4,7 ГБ, Q8_0 около 2,5 ГБ и Q4_K_M около 1,5 ГБ; Q8_0 рекомендуется как вариант по умолчанию, а Q4_K_M — для устройств с ограниченными ресурсами. К сильным сторонам относятся компактность, возможность локального развертывания, поддержка агентного tool calling, программирования и длинного контекста. В ClawBench дообученная модель показала 44,56 балла в QwenClawBench и 24,32 в WildClawBench, превысив базовую MiniCPM5-2B. Ограничения связаны с небольшим размером 2B по сравнению с передовыми моделями, возможным выводом рассуждений и зависимостью производительности от аппаратного обеспечения и настроек рантайма. Модель распространяется по лицензии Apache-2.0.

Ornith-1.5-35B-A3B-REAP-20pct — разреженная MoE-модель для генерации текста, программирования и вызова инструментов, созданная oxfrug на основе Ornith-1.5-35B-A3B от ornith-ai. Модель предназначена для локального и самостоятельного развёртывания, особенно в сценариях кодирования, диалогового взаимодействия и tool calling. В метаданных указан английский язык. Модель использует гибридную архитектуру GatedDeltaNet + MoE с 40 слоями. После удаления 20% экспертов в каждом слое осталось 205 экспертов вместо 256, при этом для каждого токена активны 8 экспертов. Активный объём параметров составляет около 3B на токен, размер BF16-весов — примерно 56 ГБ вместо 67 ГБ у базовой модели. Общие эксперты, vision tower, эмбеддинги и lm_head не изменялись; архитектура обозначена как Qwen3_5MoeForConditionalGeneration, поэтому модель поддерживает текстово-мультимодальный интерфейс базовой архитектуры. Для работы требуются transformers версии 5.8.1 или новее; для vLLM заявлена конфигурация с контекстом до 262144 токенов. Главное преимущество — экономия около 11 ГБ дискового пространства при сохранении примерно 3B активных параметров на токен и совместимость с transformers и vLLM. Ограничения связаны с потерей качества из-за pruning: модель не является lossless-копией и не является квантизированной или дообученной. Для этого чекпойнта не проводились полноценные тесты SWE-bench, Terminal-Bench и GPQA, а опубликованные результаты родственной модели нельзя переносить на него. Калибровка выполнялась на последовательностях длиной 1024 токена, что также может повышать риск ухудшения специализированных возможностей, включая tool calling. Модель распространяется по лицензии MIT. Она требует значительных ресурсов: это не вариант для одной видеокарты на 24 ГБ; для длинного контекста в vLLM рекомендуется конфигурация с двумя GPU по 80 ГБ. Форматы GGUF для данного pruning в README не заявлены.

Qwen3.8-27B Abliterated + MTP GGUF — неофициальная производная модель Global Cybersecurity Alliance на базе Qwen/Qwen3.8-27B. Это плотная модель с 27 миллиардами параметров и нативной поддержкой понимания текста, изображений и видео. Модель распространяется в формате GGUF с квантованиями Q8_0, Q6_K, Q4_K_M и Q4_K_S; для каждого варианта предусмотрен соответствующий vision projector mmproj. Базовая модель ориентирована на мультимодальные задачи, управляемый режим рассуждений и работу с длинным контекстом, однако точный размер контекстного окна и перечень поддерживаемых языков в карточке не указаны. В производной версии применено вмешательство Abliterix, направленное на снижение поведения, связанного с отказами. Это может быть полезно для исследовательских и прикладных сценариев, где требуется более свободное следование инструкциям, но эффект не гарантирован и способен ухудшить тон, калибровку, качество рассуждений, точность или соблюдение инструкций. Приведённые в README результаты относятся к отдельной FP8-версии и не являются подтверждёнными показателями GGUF-квантований. Дополнительно доступен BF16 MTP-драфт для speculative decoding в совместимых версиях llama.cpp и других runtime: он может повысить скорость, но требует дополнительной памяти и явной настройки, а выигрыш зависит от оборудования и параметров запуска. Модель не является официальным релизом Qwen, Alibaba Cloud или авторов Abliterix. Лицензия — Apache-2.0.

Qwen3.8-Flash-Next REAP-288 Q8E MLX — оптимизированная сборка базовой модели Qwen/Qwen3.8-Flash-Next, опубликованная пользователем sh0wie. Она предназначена для локального запуска на устройствах Apple с MLX и ориентирована прежде всего на генерацию текста, программирование и агентские сценарии. Мультимодальные веса vision tower сохранены, однако в README оценивалось только качество работы с текстом. Модель относится к классу примерно 180B параметров: 125B приходится на основную модель, ещё 51B — на n-gram embedding table. Архитектура содержит 48 слоёв, чередующих Gated DeltaNet и разреженное внимание Qwen, а MoE-маршрутизация использует top-10 экспертов. В каждом MoE-слое оставлено 288 из 512 экспертов после pruning методом REAP. Тензоры экспертов имеют 8-битное квантование, остальные компоненты, включая attention, embeddings и backbone, — 4-битное. Размер модели около 100 ГБ в памяти, но при потоковой загрузке n-gram table через NVMe может снижаться примерно до 70 ГБ. Сильной стороной сборки является повышенная точность представления экспертных тензоров и совместимость со стандартным mlx-vlm без патчей. При этом pruning остаётся основным источником потери качества: в тесте HumanEval модель получила 90,9%, уступив варианту с полностью 4-битными весами экспертов с результатом 91,5%, поэтому README не рекомендует её большинству пользователей. Поддерживается speculative decoding с отдельной MTP-моделью; заявленное ускорение зависит от оборудования и составляет примерно 1,5–2,6 раза на M5, тогда как на M4 оно близко к нейтральному. Модель распространяется по лицензии qwen-community-license-1.0.

Карточка модели emee-ai/Qwen3-Embedding-4B на Hugging Face совпадает с карточкой Qwen/Qwen3-Embedding-4B, поэтому описание составлено по ней. Qwen3-Embedding-4B — мультиязычная модель для построения текстовых эмбеддингов из семейства Qwen3, разработанная командой Qwen. Это плотная модель на базе Qwen3-4B-Base, дообученная для задач поиска и сравнения текстов. Репозиторий содержит веса в формате safetensors; лицензия — Apache-2.0. Модель подходит для семантического поиска по документам и коду, оценки сходства предложений, классификации и кластеризации текстов, а также поиска соответствий между языками. Она поддерживает более 100 языков, контекст до 40 960 токенов по метаданным и до 32 тысяч токенов в описании модели. Размер эмбеддинга можно настраивать от 32 до 2560 измерений; также поддерживаются инструкции, настраивающие представление под задачу.

Карточка модели m-hasnain-sabqi/Qwen3-Embedding-4B на Hugging Face совпадает с карточкой Qwen/Qwen3-Embedding-4B, поэтому описание составлено по ней. Qwen3-Embedding-4B — мультиязычная модель для построения текстовых эмбеддингов из семейства Qwen3, разработанная командой Qwen. Это плотная модель на базе Qwen3-4B-Base, дообученная для задач поиска и сравнения текстов. Репозиторий содержит веса в формате safetensors; лицензия — Apache-2.0. Модель подходит для семантического поиска по документам и коду, оценки сходства предложений, классификации и кластеризации текстов, а также поиска соответствий между языками. Она поддерживает более 100 языков, контекст до 40 960 токенов по метаданным и до 32 тысяч токенов в описании модели. Размер эмбеддинга можно настраивать от 32 до 2560 измерений; также поддерживаются инструкции, настраивающие представление под задачу.

Карточка модели Rasputin312/Qwen3-Embedding-4B_both_0_pct_3_epochs на Hugging Face совпадает с карточкой Qwen/Qwen3-Embedding-4B, поэтому описание составлено по ней. Qwen3-Embedding-4B — мультиязычная модель для построения текстовых эмбеддингов из семейства Qwen3, разработанная командой Qwen. Это плотная модель на базе Qwen3-4B-Base, дообученная для задач поиска и сравнения текстов. Репозиторий содержит веса в формате safetensors; лицензия — Apache-2.0. Модель подходит для семантического поиска по документам и коду, оценки сходства предложений, классификации и кластеризации текстов, а также поиска соответствий между языками. Она поддерживает более 100 языков, контекст до 40 960 токенов по метаданным и до 32 тысяч токенов в описании модели. Размер эмбеддинга можно настраивать от 32 до 2560 измерений; также поддерживаются инструкции, настраивающие представление под задачу.

Карточка модели lvandy/Qwen3-Embedding-8B на Hugging Face совпадает с карточкой Qwen/Qwen3-Embedding-8B, поэтому описание составлено по ней. Qwen3-Embedding-8B — текстовая модель эмбеддингов семейства Qwen3, разработанная командой Qwen. Это плотная архитектура Qwen3ForCausalLM с 7,6 млрд параметров, дообученная на базе Qwen/Qwen3-8B-Base для получения векторных представлений текста. Модель предназначена для семантического поиска и ранжирования, а также поддерживает классификацию, кластеризацию, поиск по коду и межъязыковой поиск. Модель поддерживает более 100 естественных и программных языков, обрабатывает длинные последовательности с контекстом до 40 960 токенов по метаданным и выдаёт эмбеддинги размерностью до 4096; README также сообщает о настройке выходной размерности от 32 до 4096. Можно задавать инструкции для конкретной задачи, языка или сценария. Модель рассчитана на получение векторов из текста; метаданные также отмечают возможности чата и интерфейс вызова инструментов, но основной сценарий этой версии — эмбеддинги. По данным карточки, версия 8B заняла первое место в мультиязычном рейтинге MTEB на 5 июня 2025 года с результатом 70,58. Для некоторых задач retrieval README отмечает снижение качества примерно на 1–5% без подходящей инструкции. Для работы с поддержкой Qwen3 требуется Transformers 4.51.0 или новее. Лицензия — Apache-2.0.

Карточка модели ddriscoll/stingray-dense-LoRA на Hugging Face совпадает с карточкой Qwen/Qwen3-Embedding-4B, поэтому описание составлено по ней. Qwen3-Embedding-4B — мультиязычная модель для построения текстовых эмбеддингов из семейства Qwen3, разработанная командой Qwen. Это плотная модель на базе Qwen3-4B-Base, дообученная для задач поиска и сравнения текстов. Репозиторий содержит веса в формате safetensors; лицензия — Apache-2.0. Модель подходит для семантического поиска по документам и коду, оценки сходства предложений, классификации и кластеризации текстов, а также поиска соответствий между языками. Она поддерживает более 100 языков, контекст до 40 960 токенов по метаданным и до 32 тысяч токенов в описании модели. Размер эмбеддинга можно настраивать от 32 до 2560 измерений; также поддерживаются инструкции, настраивающие представление под задачу.

Tiel-Coder-35B-A3B-Genesis-Hermes-GGUF — языково-кодовая модель в формате GGUF, разработанная LuffyTheFox на основе Ornith-1.5-35B-A3B, с использованием компонентов Tiel-Coder и Hermes-файнтюнинга. Модель дополнительно обработана методом Genesis, который автор описывает как численную коррекцию шумов и дефектов в весах без переобучения. Указана лицензия MIT. Модель предназначена для программирования, агентных сценариев, вызова функций и задач, требующих следования инструкциям. Поддерживаются текстовые и визуальные сценарии, однако для работы с изображениями требуется отдельный файл mmproj. В README заявлена поддержка английского, китайского и многоязычного ввода. Архитектура гибридная: Gated DeltaNet с линейным вниманием сочетается с полным softmax-вниманием в соотношении 3:1. Всего модель содержит около 35 млрд параметров, из которых примерно 3 млрд активируются за один проход; используется MoE-схема с 256 экспертами, 8 маршрутизируемыми и 1 общим экспертом на токен, а также 40 слоями. Для сохранения возможностей рассуждения рекомендуется контекст не менее 128K токенов и запуск через llama.cpp с флагом --jinja. Модель ориентирована на эффективный инференс, но требует значительных вычислительных ресурсов, особенно при использовании длинного контекста и визуального режима. README не содержит независимых результатов бенчмарков, поэтому заявленные улучшения стабильности, качества и снижения галлюцинаций следует считать утверждениями автора, а не подтверждёнными измерениями.

ATX-Swift-Qwen3.8-27B-Uncensored-IQ4_XS-M-GGUF — это квантизированная GGUF-модель, разработанная JakeATX на основе d0xin/Swift-Qwen3.8-27B-Uncensored-BF16. Исходная модель является uncensored, abliterated-производной Swift-Qwen3.8-27B от UkisAI: из неё намеренно удалено исходное поведение отказа от ответов. Модель предназначена для генерации текста, включая программирование, агентские сценарии, работу с длинным контекстом и локальный запуск через llama.cpp. Модель содержит около 27,32 млрд параметров, 866 текстовых и MTP-тензоров и поддерживает только текстовую модальность, без vision tower. Используется смешанная квантизация ATX-IQ4_XS-M: основная часть весов представлена в IQ4_XS, отдельные важные тензоры повышены до Q5_0, Q6_K или Q8_0. Размер файла — около 14,5 GiB, эффективная точность — 4,56 бит на вес. Включена MTP speculative head, рассчитанная на спекулятивное декодирование. Рецепт ориентирован на видеокарты RTX 3090/3090 Ti с 24 ГБ памяти и позволяет работать с контекстом до 200 тыс. токенов при 8-битном key cache, однако точный лимит зависит от runtime и конфигурации. Сильными сторонами являются высокая эффективность по памяти, оптимизация под SM86 и длинный контекст, а также заявленный результат pass@1 89,25 на выбранной 100-задачной подвыборке LiveCodeBench v6. Модель не имеет встроенных ограничений на отказ и может генерировать контент, который исходная версия отклоняла, поэтому её ответы требуют проверки. В README не указаны точные языки и полный набор оценок качества. Для запуска рекомендуется llamAmpere; модель также совместима со stock TurboQuant+ и основной веткой llama.cpp, но с меньшим запасом по контексту. Лицензия указана как swift-open-license-1.0.

Dolphin 2.9.3 Mistral Nemo 12B — разговорная языковая модель, дообученная Eric Hartford и командой Cognitive Computations на базе mistralai/Mistral-Nemo-Base-2407. Она предназначена для следования инструкциям, диалогов, генерации кода и начальных агентных сценариев; также поддерживает вызов функций через ChatML-шаблон. Модель содержит 12,1 млрд параметров, использует плотную архитектуру MistralForCausalLM и формат safetensors. Базовая модель рассчитана на контекст до 128 тыс. токенов, однако при дообучении использовалась длина последовательности 8192 токена. Dolphin описана как «uncensored» и может с высокой готовностью выполнять запросы, в том числе вредоносные или неэтичные. Перед предоставлением модели пользователям автор рекомендует добавить собственный слой контроля и выравнивания. Модель лицензирована по Apache 2.0, включая коммерческое использование.

EmbeddingGemma — компактная модель эмбеддингов текста от Google DeepMind на 302,8 млн параметров, построенная на Gemma 3 с инициализацией T5Gemma. Она преобразует текст в векторы размерностью 768; благодаря Matryoshka Representation Learning вектор можно сократить до 512, 256 или 128 измерений с последующей нормализацией. Модель принимает текст с контекстом до 2048 токенов и предназначена для запуска в том числе на телефонах, ноутбуках и настольных компьютерах с ограниченными ресурсами. Основные сценарии — семантический поиск и извлечение документов, сравнение предложений, классификация и кластеризация текстов, поиск кода по запросам на естественном языке, а также подбор материалов для систем ответов на вопросы и проверки фактов. Модель обучалась на данных более чем 100 языков, включая веб-тексты, код и техническую документацию. Для использования авторы рекомендуют Sentence Transformers с Gemma 3 из Transformers; в репозитории также представлены форматы ONNX, OpenVINO, PyTorch, Safetensors и TensorFlow. Качество зависит от охвата и смещений обучающих данных; модель может хуже улавливать тонкие языковые нюансы, сарказм и переносный смысл. Лицензия — Gemma; при использовании необходимо соблюдать условия Gemma и ограничения политики допустимого использования.

Llama-3-Giraffe-70B-Instruct — разговорная языковая модель Abacus.AI, созданная на основе Meta Llama 3 70B Instruct с расширенным контекстом. Это плотная авторегрессионная модель семейства Llama с 69,5 млрд параметров; в метаданных указана длина контекста 8192 токена, а авторы заявляют эффективную длину около 128 тысяч токенов. Для расширения контекста применялись PoSE и динамическая NTK-интерполяция; обучающий адаптер переносили с Llama-3-70B-Base на Instruct-версию и выпустили слитую модель. Модель предназначена для диалогов, следования инструкциям и ответов на вопросы по длинным текстам, включая поиск информации в большом контексте. В README приведены результаты MT-Bench, близкие к исходной Llama 3 70B Instruct, и эксперименты Needle-in-a-Haystack до 128 тысяч токенов; оценивание эффективности авторы продолжают. Модель принимает текст и генерирует текст, карточка указывает английский язык. Репозиторий содержит веса Safetensors. Лицензия — Llama 3 License (llama3).