I.2Синтез, понимание и проверка знаний

Это четырёхбитная версия модели NVIDIA Nemotron Nano 9B v2, подготовленная сообществом mlx-community для запуска в формате MLX. Исходная модель разработана NVIDIA; эта версия преобразована из nvidia/NVIDIA-Nemotron-Nano-9B-v2 с помощью mlx-lm 0.26.3. Метаданные относят её к генеративным языковым моделям для диалога и указывают интерфейс вызова инструментов. Модель предназначена для генерации ответов в чате и выполнения инструкций; базовая модель также рассчитана на программирование и управляемое рассуждение. Карточка связывает её с английским, испанским, французским, немецким, итальянским и японским языками. Лицензия указана как other, поэтому условия следует уточнять на странице репозитория и базовой модели. Четырёхбитное представление и формат MLX предназначены для локального инференса на совместимом оборудовании; количественные показатели качества в карточке не приведены.

Ornith-1.5-35B-A3B-AWQ-INT4 — это мультимодальная квантованная версия модели Ornith-1.5-35B-A3B, разработанной ornith-ai. Модель предназначена для генерации текста, рассуждений, программирования и обработки изображений в сценариях image-text-to-text. Она поддерживает контекст до 262 144 токенов; конкретный набор языков в материалах не указан. Модель построена на архитектуре fine-grained Mixture of Experts: в каждом из 40 слоёв имеется 256 экспертов, из которых для каждого токена активируются 8. Квантирование выполнено методом AWQ в формате compressed-tensors pack-quantized по схеме W4A16 с асимметричными 4-битными весами и размером группы 32. Около 90% параметров хранятся в 4-битном формате, а активации остаются в BF16. Зрительная башня, attention-компоненты, эмбеддинги, выходная голова и multi-token prediction head сохранены в BF16. MTP head поддерживает speculative decoding в SGLang. Релиз ориентирован на эффективный запуск через SGLang, в частности на Intel Arc Pro B-series. К сильным сторонам относятся уменьшенный объём весов, поддержка мультимодального ввода, длинного контекста и speculative decoding. Проверка качества ограничена детерминированным smoke-тестом на связность, арифметическое и логическое рассуждение, программирование и базовое распознавание изображения; полноценные бенчмарки и сопоставление с BF16 не заявлены. Производительность и качество зависят от оборудования и рабочего сценария. Модель распространяется по лицензии MIT.

Это компактная языковая модель Phi-3 Mini Instruct семейства Phi-3, представленная в репозитории tuong-nguyen-prd. Модель имеет плотную архитектуру Phi3ForCausalLM и около 3,7 млрд параметров; она дообучена следовать инструкциям с помощью supervised fine-tuning и direct preference optimization. В README вариант назван 128K, однако метаданные этой копии указывают длину контекста 4096 токенов. Модель предназначена для генерации текста в диалоговом формате, включая рассуждения, математику и программирование. Её позиционируют для сценариев с ограниченными вычислительными ресурсами и требованиями к низкой задержке; карточка также описывает улучшения в следовании инструкциям, структурированном выводе и понимании длинного контекста. Основной заявленный язык — английский. Репозиторий содержит веса в формате safetensors. Модель выпущена под лицензией MIT. Как и другие языковые модели, она может выдавать неточные, ненадёжные, предвзятые или оскорбительные ответы; её качество и безопасность следует оценивать для конкретного применения, особенно в сценариях с высокими рисками.

Prism-Qwen3.5-Reranker-4B — модель-реранкер от infgrad на основе архитектуры Qwen3.5, дообученная для поиска и RAG-сценариев. Она оценивает релевантность пары «запрос — документ» и может дополнительно выдать краткий вклад документа в ответ на запрос и самостоятельный фрагмент с релевантными свидетельствами. Для нерелевантных документов возвращает отрицательный результат без этих пояснений. Модель предназначена для переупорядочивания результатов поиска, в том числе в агентных системах, и обработки запросов в форме ключевых слов. Веса содержат 3,4 млрд параметров; архитектура плотная, контекстное окно по метаданным — 262 144 токена. Однако обучение ограничивало примеры 10 тысячами токенов, поэтому на более длинных входах качество может снижаться. Основные языки — английский и китайский; другие языки также поддерживаются, но обучающих данных для них меньше. Модель распространяется под лицензией MIT.

Карточка модели infgrad/Prism-Qwen3-Reranker-4B-exp на Hugging Face совпадает с карточкой infgrad/Prism-Qwen3.5-Reranker-4B, поэтому описание составлено по ней. Prism-Qwen3.5-Reranker-4B — модель-реранкер от infgrad на основе архитектуры Qwen3.5, дообученная для поиска и RAG-сценариев. Она оценивает релевантность пары «запрос — документ» и может дополнительно выдать краткий вклад документа в ответ на запрос и самостоятельный фрагмент с релевантными свидетельствами. Для нерелевантных документов возвращает отрицательный результат без этих пояснений. Модель предназначена для переупорядочивания результатов поиска, в том числе в агентных системах, и обработки запросов в форме ключевых слов. Веса содержат 3,4 млрд параметров; архитектура плотная, контекстное окно по метаданным — 262 144 токена. Однако обучение ограничивало примеры 10 тысячами токенов, поэтому на более длинных входах качество может снижаться. Основные языки — английский и китайский; другие языки также поддерживаются, но обучающих данных для них меньше. Модель распространяется под лицензией MIT.

Карточка модели LIF1014/ptdbench-verl-implementation-torch-functional на Hugging Face совпадает с карточкой Qwen/Qwen2.5-1.5B-Instruct, поэтому описание составлено по ней. Qwen2.5-1.5B-Instruct — инструктивно дообученная языковая модель семейства Qwen2.5, разработанная командой Qwen. Она предназначена для диалогов и генерации текста по инструкциям, включая ответы на вопросы, создание длинных текстов и выдачу структурированных результатов, например JSON. Модель имеет плотную архитектуру причинного трансформера Qwen2 с RoPE, SwiGLU и RMSNorm и содержит 1,5 млрд параметров. Контекст составляет 32 768 токенов, максимальная длина генерации — 8 192 токена. Карточка описывает поддержку более 29 языков, включая русский и английский; метаданные указывают английский как язык карточки. Модель загружается через Transformers и распространяется по лицензии Apache-2.0. Среди сильных сторон — следование инструкциям, работа с длинными текстами и структурированными данными, а также интерфейс для вызова инструментов. Это компактная модель, поэтому её возможности ограничены по сравнению с более крупными языковыми моделями; оценочные результаты для этой конкретной версии в карточке не приведены.

infgrad выпустил модель на базе XLM-RoBERTa для поиска и семантического сопоставления текстов. Она формирует векторные представления предложений и поддерживает несколько выходных размерностей: 256, 768, 1024, 1563, 1792, 2048 и 4096. Модель рассчитана на поиск как внутри одного языка, так и между китайским и английским; автор отмечает, что английские представления слабее китайских. Контекстная длина составляет 514 токенов. Модель распространяется под лицензией MIT.

Pullulation-2-9B — объединённая диалоговая языковая модель на базе Gemma 2, созданная ClaudioItaly с помощью mergekit и метода Model Stock. В качестве базовой модели при слиянии использована nbeerbower/gemma2-gutenberg-9B; также объединены пять других вариантов Gemma 2 с настройками для диалогов и генерации текста. Модель с плотной архитектурой Gemma2ForCausalLM содержит 9 млрд параметров, работает через Transformers и распространяется в формате safetensors. Она предназначена для генерации текста и диалоговых ответов; контекст составляет 8192 токена. Лицензия в предоставленных данных не указана.

deepset/quora_dedup_bert_base — модель эмбеддингов предложений от deepset, основанная на BERT. Она получена продолжением обучения bert-base-nli-stsb-mean-tokens на наборе вопросов Quora для выявления дубликатов. Модель преобразует текст в векторные представления, пригодные для сравнения семантической близости вопросов. Модель предназначена для поиска похожих вопросов и обнаружения перефразировок в системах поиска, дедупликации и ранжирования. В карточке приведены метрики корреляции сходства на этапах обучения; размер составляет 136,7 млн параметров, максимальная длина контекста — 512 токенов. Репозиторий содержит варианты PyTorch, Flax и safetensors. Лицензия — Apache-2.0.

ThomasBaruzier/Qwen2.5-1.5B-Instruct-GGUF — набор imatrix-квантизированных версий инструкционно дообученной языковой модели Qwen2.5-1.5B-Instruct, разработанной командой Qwen. Репозиторий предназначен для запуска через llama.cpp и содержит варианты с разными уровнями сжатия, размером примерно от 417 МБ до 1,57 ГБ, а также версию F16 размером 2,95 ГБ. Модель представляет собой причинную текстовую модель на 1,54 млрд параметров с архитектурой на базе transformers, RoPE, SwiGLU, RMSNorm, GQA и связанными эмбеддингами слов. Она предназначена для диалогов, следования инструкциям, генерации текста, работы со структурированными данными и JSON, а также задач программирования и математики. Поддерживаются более 29 языков, включая китайский, английский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. Полный контекст составляет 32 768 токенов, максимальная длина генерации — 8192 токена. Ключевое преимущество репозитория — широкий выбор квантизаций, позволяющий выбирать между компактным размером и сохранением качества; для вариантов указаны показатели perplexity и относительной точности. Ограничениями являются небольшой по современным меркам размер модели и ожидаемое снижение качества у наиболее агрессивно сжатых вариантов. Модель распространяется по лицензии Apache-2.0.

ehristoforu/qwen2.5-7b-upscaled — языковая модель для генерации текста и диалогов, созданная слиянием весов через mergekit методом passthrough на основе Qwen/Qwen2.5-7B-Instruct. Она предназначена для общения, генерации текста и использования интерфейса вызова инструментов. Модель построена на плотной архитектуре Qwen2 и содержит 11,3 млрд параметров; максимальный контекст — 32 768 токенов. Репозиторий содержит веса в формате safetensors и использует библиотеку Transformers. README не сообщает оценок качества или конкретных улучшений относительно базовой модели. Лицензия в доступных данных не указана.

Qwen3-30B-A3B-Base — базовая языковая модель семейства Qwen3, разработанная командой Qwen. Это предварительно обученная причинная MoE-модель для генерации текста: всего 30,5 млрд параметров, из которых при генерации активируются 3,3 млрд; архитектура включает 48 слоёв и 128 экспертов, из которых активны восемь. Модель рассчитана на контекст до 32 768 токенов и работает через библиотеку Transformers. Модель предназначена для продолжения текста и служит основой для дообучения под диалоговые и прикладные сценарии. Обучающий корпус охватывает 119 языков и включает материалы по программированию, STEM, рассуждениям, книгам и многоязычным данным. Карточка также отмечает интерфейсы для чата и вызова инструментов, однако конкретные инструкции по использованию этих возможностей в базовой модели не описаны. Лицензия — Apache-2.0. Для запуска требуется актуальная версия Transformers: версии ниже 4.51.0 не распознают архитектуру qwen3_moe. Это базовая, а не специализированно настроенная на выполнение инструкций модель; качество в конкретных задачах зависит от промптинга и возможного дообучения.

amd/Qwen3.5-35B-A3B-MXFP4 — квантизированная версия модели Qwen3.5-35B-A3B-FP8, разработанная Advanced Micro Devices, Inc. с использованием AMD-Quark. Модель построена на архитектуре Qwen3_5MoeForConditionalGeneration, принимает текст и генерирует текст. В README указано обозначение 35B-A3B, однако точные параметры архитектуры, число активируемых параметров, размер контекста и перечень поддерживаемых языков не приведены. Модель предназначена для задач генерации текста и инференса в средах SGLang или vLLM на Linux с оборудованием AMD MI300 и MI350/MI355, ROCm 7.0.0, PyTorch 2.9.1 и Transformers 5.3.0. Веса статически квантизированы в формат OCP MXFP4, а активации динамически квантизированы в OCP MXFP4, что ориентировано на эффективное выполнение на совместимых ускорителях. В тесте GSM8K модель получила результат 93,25 против 89,39 у исходной FP8-версии, но приведённая оценка охватывает только один бенчмарк и не характеризует все сценарии применения. Лицензия — Apache-2.0; изменения защищены авторским правом Advanced Micro Devices, Inc.

HauhauCS/Qwen3.6-27B-Uncensored-HauhauCS-Balanced — это модифицированная и квантованная версия базовой модели Qwen/Qwen3.6-27B, подготовленная HauhauCS. Модель распространяется в формате GGUF и ориентирована на мультимодальные сценарии image-text-to-text, включая работу с изображениями и текстом. Заявлена поддержка английского, китайского и других языков. По данным карточки, модель имеет 27 миллиардов плотных параметров; дополнительные сведения о полной архитектуре и размере контекстного окна не указаны. Основное отличие версии Balanced — удаление отказов при сохранении исходных датасетов и возможностей базовой модели. Она предназначена для агентного программирования, использования инструментов, рассуждений, творческого письма и ролевых сценариев. По заявлению автора, модель может подробно рассуждать перед ответом, иногда добавляя краткое предупреждение или контекст безопасности, после чего предоставляет полный ответ. Также заявлена повышенная стабильность генерации в длительных цепочках вызовов инструментов. Эти характеристики основаны на описании автора и приведённом внутреннем тесте с 0 отказов из 465 запросов, поэтому их следует интерпретировать как заявленные, а не независимые результаты. Доступны различные варианты квантования GGUF, включая пользовательские K_P-кванты, оптимизированные с помощью importance matrix; размеры файлов составляют примерно от 10 до 32 ГБ, а для мультимодальности предоставляется отдельный mmproj-файл. Модель совместима с llama.cpp, LM Studio и другими GGUF-совместимыми средами. Рекомендуемый автором вариант Q4_K_P требует около 18 ГБ, а Q8_K_P — около 32 ГБ. Отсутствие встроенных ограничений может быть преимуществом для исследовательских, программных и творческих задач, но одновременно повышает риск небезопасных или нежелательных ответов, поэтому требуется контроль применения. Лицензия — Apache-2.0.

Qwen3.6-40B-Claude-4.6-Opus-Deckard-Heretic-Uncensored-Thinking — мультимодальная плотная модель с обработкой изображений, созданная DavidAU на основе Qwen/Qwen3.6-27B. Автор описывает расширение модели с 27 до 40 млрд параметров и многоэтапное дообучение: на наборах Deckard/PDK и на данных дистилляции рассуждений Claude 4.6 Opus. Модель рассчитана на диалог, рассуждения, программирование и творческое письмо, включая создание сюжетов и ролевые сценарии; поддерживает вызов инструментов и анализ изображений. В карточке указана длина контекста 256 тыс. токенов, а также режим рассуждений с переменной длиной ответа. Заявления автора о превосходстве в тестах не сопровождаются в предоставленном тексте конкретными результатами, поэтому их следует считать заявлениями автора. README также описывает модель как uncensored и предупреждает о возможности генерации откровенного контента по запросу; отмечены возможные зацикливания на низких квантизациях или слишком коротких запросах. Репозиторий распространяется в формате safetensors по лицензии Apache-2.0.

KikoCis/Qwen3.8-27B-GGUF — набор квантованных моделей в формате GGUF на основе Qwen/Qwen3.8-27B, разработанной командой Qwen. Репозиторий предназначен для локального запуска текстовой генерации, включая агентские сценарии с многошаговым использованием инструментов, при ограниченных ресурсах. Доступны варианты квантования от 1,94 до 3,40 бит на вес и размером от 6,46 до 16,81 ГБ. Архитектура модели включает 65 блоков: 48 SSM/linear-attention, 16 полноценных attention-блоков и одну MTP-голову. Благодаря этому KV-кэш заявлен как относительно экономичный — около 64 КБ на токен против примерно 256 КБ у полностью attention-модели сопоставимого размера. Нативное контекстное окно заявлено как 262 144 токена, но в README его практическая работоспособность не подтверждена. Модель рассчитана только на текст: исходная базовая модель мультимодальна, однако в этом репозитории отсутствует mmproj, поэтому обработка изображений невозможна. Наиболее удачным вариантом для агентов авторы считают IQ2_M: в измеренном тесте он выполнил 79 из 80 задач, почти соответствуя Q3_K_M с результатом 40 из 40, при меньшем размере. IQ2_XS экономит немного места, но показал более низкий результат, а варианты IQ1 предназначены скорее для связного текста и не рекомендуются для инструментальных агентов. Сильная сторона архитектуры — экономия памяти на длинном контексте, ограничением является медленный prefill, особенно в многошаговых диалогах. Результаты зависят от backend и runtime: приведённые измерения выполнялись через Ollama и не должны напрямую переноситься на другие реализации. Распространяется по лицензии Apache-2.0.

Qwen3.8-27B-GPTQ-Int4-sym-G128-MTP-BF16 — квантизированный производный вариант модели Qwen/Qwen3.8-27B, опубликованный пользователем mikeinnyc. Это не дообученная модель: дополнительное обучение не проводилось, а GPTQ-квантизация выполнена непосредственно из исходного чекпойнта BF16. Модель предназначена для генерации текста и развёртывания через Transformers и vLLM, включая сценарии с OpenAI-совместимым API и Open WebUI. Она ориентирована на запуск на Intel Arc Pro B70 с использованием vLLM XPU, speculative decoding и unquantized MTP draft path. В контролируемом тестировании на одной Intel Arc Pro B70 32 GB конфигурация G128 поддерживала контекст до 161 000 токенов с FP8 KV-кэшем. Ключевые характеристики: GPTQ INT4 с симметричной квантизацией и group size 128, без квантизации LM head и MTP-тензоров; размер загрузки составляет около 19,6 ГБ, модель хранится в пяти файлах safetensors. Сильными сторонами являются уменьшенный объём памяти по сравнению с BF16, поддержка очень длинного контекста и возможность ускорения генерации с помощью MTP. Ограничения включают зависимость от совместимой конфигурации vLLM XPU и специальных патчей для проверенного сценария на Intel Arc Pro B70; заявленные характеристики производительности относятся именно к этому окружению. Модель распространяется по лицензии Apache-2.0.

KostkaIT/Qwen3.8-27B-Huihui-Abliterated-oQ4e-MTP-MLX — мультимодальная версия семейства Qwen3.8-27B, разработанная независимым технологическим проектом KostkaIT на основе huihui-ai/Huihui-Qwen3.8-27B-abliterated. Модель предназначена для локального программирования, рассуждений, создания мультимодальных ассистентов и исследовательских задач. Модель поставляется в формате MLX safetensors, оптимизированном для Apple Silicon и совместимого с рантаймом oMLX. Это смешанная квантизация oQ4e: базовые веса представлены в 4-битном формате с group_size 64, а отдельные тензоры сохранены в 5- и 6-битной точности с использованием importance matrix. В репозитории присутствуют конфигурация и процессор для работы с изображениями, vision-тензоры, а также встроенные веса Native MTP с одним скрытым слоем MTP. MTP можно включать или отключать в совместимых версиях oMLX. К сильным сторонам относятся поддержка текста и изображений, более компактное локальное развертывание благодаря квантизации, а также сочетание смешанной точности с Native MTP. Ограничения включают зависимость от оборудования Apple Silicon и совместимого MLX/oMLX-окружения, возможные потери качества из-за 4-битной квантизации и отсутствие в предоставленных данных сведений о языках, размере контекста и точных характеристиках производительности. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-IQ4-XS-16GB-VRAM-GGUF — квантованная версия модели Qwen3.8-27B, опубликованная tooltd и распространяемая в формате GGUF для работы с llama.cpp. Модель оптимизирована для запуска на видеокартах с 16 ГБ VRAM примерно при 4 BPW, а отдельные варианты позволяют использовать карты с 12 ГБ памяти примерно при 3 BPW. Ключевая особенность репозитория — смешанное квантование ZB-ZipBrain, распределяющее разрядность тензоров с учётом их влияния на качество и калибровки по importance matrix. Доступны варианты IQ4_XS и IQ3, включая сборки с настройками для разных ограничений по памяти. В README модель также классифицирована как image-text-to-text, однако подробные сведения об архитектуре мультимодального компонента, поддерживаемых языках и максимальном контексте не указаны. Модель предназначена для локального запуска общих LLM-сценариев, включая генерацию текста и кода; для отдельных квантованных вариантов приведены результаты HumanEval и MBPP. Сильной стороной является сочетание размера 27B с уменьшенным потреблением памяти и относительно высоким качеством: вариант ZB4.00-MIN-v5.1-IQ4_XS показывает 0,921 на HumanEval+ и 0,780 на MBPP+. Ограничения связаны с потерями качества из-за квантования, зависимостью результата от конкретного варианта и отсутствием подробных данных о языках, контексте и мультимодальных возможностях. Лицензия — Apache-2.0.

sakamakismile/Qwen3.8-27B-MTP-NVFP4 — квантованная версия модели Qwen3.8-27B, разработанной командой Qwen. Это плотная гибридная модель с архитектурой DeltaNet и полноразмерным attention, компонентами компьютерного зрения Qwen3-VL и встроенной MTP-головой для speculative decoding. Модель предназначена прежде всего для генерации текста, рассуждений и использования в серверных сценариях через vLLM; поддержка мультимодального режима заявлена благодаря vision tower, но в README её производительность не оценивалась. Основная часть весов сжата в формат NVFP4 W4A4 с размером группы 16, тогда как vision tower, lm_head, conv1d DeltaNet и MTP-голова сохранены в bf16. Размер базовой модели составляет 27,8 млрд параметров; объём уменьшен с 55,6 до 20,6 ГБ. Заявлен контекст до 131 072 токенов, поддерживается KV-кэш fp8 и работа на GPU Blackwell через vLLM 0.22.0. MTP-голова позволяет ускорять декодирование, однако требует корректного сохранения специальных модулей и конфигурации speculative decoding. Сильными сторонами модели являются существенное сокращение объёма весов, высокая скорость генерации на совместимом оборудовании и поддержка длинного контекста. Ограничения связаны с требованиями к GPU Blackwell и конфигурации vLLM: формат W4A4 необходим для указанной архитектуры, а мультимодальная производительность не проверялась. Модель ориентирована на задачи рассуждений; при высоком уровне reasoning effort значительная часть лимита токенов может расходоваться на внутреннее рассуждение без итогового ответа, поэтому для длинных запросов рекомендуется режим medium и max_tokens не менее 4096. Распространяется по лицензии Apache-2.0.

Qwen3.8-27B-ROCmFPX-Q8_0-AGENT-GGUF — это 8-битная квантизированная GGUF-версия модели Qwen3.8-27B, опубликованная пользователем kingjones777. Модель предназначена для локального запуска через специализированную ветку ROCmFPX, ориентированную на GPU AMD с архитектурой gfx1151, включая Ryzen AI MAX+ 395 и платформу Strix Halo. Она поддерживает генерацию текста, агентские сценарии и вызовы инструментов. Модель имеет архитектуру Qwen, размер 27B параметров и контекст до 32 768 токенов в рекомендуемой конфигурации. Указан английский язык. Файл занимает около 26,28 GiB, использует тип квантизации Q8_0_ROCMFPX_AGENT с точностью 8,39 бит на вес и сохраняет повышенную точность для части attention-output projections. В README заявлена совместимость с MTP-спекулятивным декодированием: на Ryzen AI MAX+ 395 измерена скорость 26,62 токена в секунду, что на 6,2% выше обычной сборки ROCmFPX Q8.0. В тестах модель показала корректные ответы на базовые вопросы и 7 из 7 успешных сценариев tool calling в режимах с рассуждением и без него. Основные преимущества — высокая точность 8-битной версии, согласованное агентское поведение, поддержка сложных вызовов инструментов и прирост скорости при использовании MTP. Ограничения существенны: стандартная версия llama.cpp не загружает этот файл, требуется сборка ROCmFPX; модель ориентирована на совместимое AMD-оборудование. Для MTP на некоторых конфигурациях Windows 11, gfx1151 и HIP SDK 7.2 описаны ошибки в устаревшей ветке ROCmFPX, поэтому рекомендуется официальный репозиторий. Модель распространяется по лицензии Apache-2.0.

6block/Qwen3-8B-GGUF — набор GGUF-квантизаций базовой модели Qwen3-8B, разработанной командой Qwen и подготовленной пользователем 6block с использованием llama.cpp. Модель предназначена для генерации текста, диалоговых приложений, работы с английским и китайским языками, а также задач программирования. Квантизации можно запускать локально через llama.cpp, LM Studio, Ollama и совместимые проекты. В набор входят варианты Q8_0, Q6_K, Q5_K_M, Q4_K_M, IQ4_XS, IQ3_M и Q2_K размером примерно от 3,28 до 8,71 ГБ. При создании использовалась importance matrix (imatrix) и двуязычный, ориентированный на код набор калибровочных данных, что должно помогать сохранять качество китайского языка и программирования при низкой разрядности. В README не указаны архитектурные детали исходной Qwen3-8B, размер контекста и точный перечень поддерживаемых возможностей, поэтому эти характеристики нельзя достоверно описать. Основные преимущества — возможность локального запуска, несколько вариантов компромисса между качеством, скоростью и требованиями к памяти, а также публикация файла imatrix для воспроизводимости квантизации. Более низкие квантизации экономят память, но могут заметнее уступать по качеству; I-квантизации ориентированы на лучшую эффективность при малом размере, однако на CPU могут работать медленнее K-квантизаций. Набор распространяется по лицензии Apache-2.0.

RedHatAI/Qwen3-8B-NVFP4 — квантизированная версия языковой модели Qwen3-8B, разработанная RedHatAI на базе Qwen/Qwen3-8B. Модель предназначена для генерации текста и диалоговых сценариев, включая развёртывание чат-ботов и других приложений на основе больших языковых моделей. Она принимает текстовые данные и генерирует текст; заявленные языки включают английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский, однако документация отдельно ограничивает использование английским языком. Весовые параметры и активации линейных операторов в трансформерных блоках квантизированы в формат FP4 с использованием LLM Compressor. Размер параметров уменьшен с 16 до 4 бит, что примерно на 75% сокращает объём хранения и требования к памяти GPU. Модель рассчитана на эффективный инференс через vLLM версии 0.9.1 и новее, включая OpenAI-совместимый режим сервинга. Для калибровки использовались образцы UltraChat; в README не указаны точный размер контекстного окна и количественные результаты бенчмарков. Ключевое преимущество модели — существенное снижение потребления дисковой и GPU-памяти при сохранении совместимости с исходной Qwen3-8B. Ограничением является возможное снижение качества из-за FP4-квантизации по сравнению с неквантизированной моделью, хотя README сообщает о проведённом сравнительном тестировании без приведения результатов. Лицензия — Apache-2.0; также указано ограничение на использование способами, нарушающими применимые законы и нормативные требования.

Mungert/Qwen3-Embedding-4B-GGUF — набор GGUF-версий модели эмбеддингов на базе Qwen/Qwen3-4B-Base, подготовленный автором Mungert с использованием llama.cpp. Модель предназначена для извлечения признаков, вычисления сходства между предложениями и других задач семантического поиска и сопоставления текстов. В репозитории представлены варианты с разной точностью и степенью квантования: BF16, F16, гибридные форматы, Q4_K, Q6_K, Q8 и IQ-серии. Автор применяет метод выборочного повышения точности отдельных слоёв поверх стандартного IMatrix-квантования, чтобы улучшить сохранение качества при уменьшении размера модели, особенно для низкобитных вариантов. Это позволяет выбирать компромисс между точностью, объёмом памяти и скоростью инференса в зависимости от оборудования. Точные характеристики архитектуры, размерности эмбеддингов, максимального контекста и поддерживаемых языков в README не указаны. Низкобитные варианты подходят для запуска на CPU и устройствах с ограниченной VRAM, однако могут уступать полноточным версиям по качеству; BF16 и F16 требуют соответствующей аппаратной поддержки. Модель распространяется по лицензии Apache-2.0.

Qwen3-Swallow-30B-A3B-CPT-v0.2 — языковая модель Swallow LLM, созданная на базе Qwen3-30B-A3B-Base методом продолжающегося предобучения. Это разреженная MoE-модель для генерации текста и диалогов; в метаданных указано 2,6 млрд параметров и контекстное окно 40 960 токенов. Модель ориентирована на японский и английский языки, включая японско-английский перевод, и сохраняет навыки решения математических задач и программирования. Модель подходит для генерации и продолжения текста, диалогов, перевода между японским и английским, а также задач по математике и коду. Разработчики сообщают об улучшенных языковых навыках японского и сохранении STEM-показателей после обучения на профильных корпусах. Для запуска авторы рекомендуют vLLM и ограничение контекста до 32 768 токенов. Модель не проходила специальное обучение для вызова инструментов и не поддерживает переключатель режима рассуждений. В README указано, что модель находится на ранней стадии исследований и разработки и не настроена для гарантированного соответствия человеческим намерениям и требованиям безопасности. Лицензия — Apache-2.0.

sasa2000/Qwen3-Swallow-8B-RL-v0.2-heretic — дообученная версия Qwen3-Swallow 8B RL v0.2 с ослабленным поведением отказа, подготовленная на основе abliteration. Базовая модель разработана проектом Swallow LLM; репозиторий содержит плотную причинно-языковую архитектуру Qwen3 с 7,6 млрд параметров и контекстом до 40 960 токенов. Модель принимает текст и генерирует текст в диалоговом режиме. Она предназначена для общения на японском и английском языках, перевода между ними, решения математических задач, программирования и рассуждений. В сравнении из карточки указано 31 отказ из 100 запросов против 97 у исходной модели; это описание теста отказов, а не оценка общей точности. Рекомендуемый автором предел контекста — 32 768 токенов или меньше. Работа с вызовом инструментов не была специально обучена и не валидирована, а отдельное переключение режима рассуждений не поддерживается. Модель распространяется по лицензии Apache-2.0. Авторы базовой модели отмечают, что семейство находится на раннем этапе разработки и не настроено для надёжного следования человеческим намерениям или требованиям безопасности; снижение частоты отказов также означает, что ответы требуют соответствующей проверки.

Qwen3-Swallow-8B-SFT-v0.2 — диалоговая языковая модель на архитектуре Qwen3, разработанная проектом Swallow LLM Токийского технологического института. Это версия размером 7,6 млрд параметров, полученная supervised fine-tuning модели tokyotech-llm/Qwen3-Swallow-8B-CPT-v0.2. Она предназначена для генерации ответов и диалогов на японском и английском языках, а также для задач перевода, математики и программирования с рассуждениями. Модель принимает текст и генерирует текст, поддерживает контекст до 40 960 токенов по метаданным; разработчики рекомендуют ограничивать длину контекста 32 768 токенами. Для запуска рекомендуют vLLM. Инструментальное использование явно не обучалось, а переключатель режима рассуждений не поддерживается. Разработчики отмечают, что модель находится на ранней стадии разработки и не настроена для надёжного следования человеческим намерениям и требованиям безопасности. Лицензия — Apache-2.0.

Wheatley961/Raw_1_no_2_Test_2_new.model — модель Sentence-Transformers на базе архитектуры XLM-RoBERTa, разработчик в карточке не назван. Она преобразует предложения и абзацы в плотные векторы размерности 768 и предназначена для поиска семантически близких текстов, кластеризации и оценки сходства. Обучение проводилось с функцией потерь CosineSimilarityLoss. Модель содержит 305,2 млн параметров, использует формат PyTorch и имеет контекст длиной 514 токенов. Карточка не сообщает языки обучения или лицензию; метаданные не содержат кодов языков. Веса подходят для сценариев поиска и группировки текстов, но для практического использования нужен этап преобразования векторов в оценку сходства или применения подходящего метода поиска.

jegormeister/robbert-v2-dutch-base-mqa-finetuned — модель эмбеддингов предложений на базе RobBERT v2, дообученная для нидерландского языка на 1 000 000 парах вопросов и ответов из датасета clips/mqa. Она преобразует предложения и абзацы в плотные векторы размерности 768; архитектура — RoBERTa с 144 млн параметров, максимальная длина контекста — 514 токенов. Модель предназначена для семантического поиска, сравнения сходства и кластеризации текстов, особенно в сценариях поиска по FAQ. Для получения векторов можно использовать Sentence-Transformers либо Transformers с подходящей операцией pooling. Модель принимает текст и выдаёт векторы, а не готовые ответы на вопросы. Лицензия в предоставленных данных не указана.

RuadaptQwen2.5-14B-Instruct — инструктивная русскоязычная адаптация Qwen2.5-14B от RefalMachine. Авторы заменили токенизатор, выполнили дополнительное предобучение на русскоязычном корпусе и применили метод Learned Embedding Propagation (LEP). Модель относится к плотной архитектуре Qwen2 и содержит 14 млрд параметров; контекст — до 32 768 токенов. Репозиторий предоставляет веса в формате safetensors. Модель предназначена для генерации текста и диалоговых сценариев на русском языке. По заявлению авторов, новый токенизатор увеличивает скорость генерации русскоязычного текста до 60% относительно исходной Qwen2.5-14B-Instruct при сравнении на одинаковых текстовых последовательностях. В карточке также заявлен интерфейс для вызова инструментов. Модель выпущена по лицензии Apache-2.0. Карточка помечена как рабочая версия v1; опубликованные разделы результатов оценки содержат незаполненные значения TODO, поэтому по README нельзя судить о сравнительном качестве. Ответы могут воспроизводить сведения и установки, усвоенные на этапах обучения, и не обязательно отражают позицию авторов.