II.8Инженерия данных и аналитика

Qwen2-0.5B-Instruct — инструкционно дообученная языковая модель семейства Qwen2, разработанная командой Qwen. Это плотная авторегрессионная модель на архитектуре Transformer с 494 млн параметров; она принимает текст и генерирует текст в формате диалога. Контекст составляет до 32 768 токенов. Модель предназначена для общения, генерации и понимания текста, а также может применяться к задачам рассуждения, математики и программирования. Модель компактна и поддерживает многоязычный токенизатор, но метаданные карточки отмечают английский язык. В приведённом сравнении она показала улучшение относительно Qwen1.5-0.5B-Chat на тестах MMLU, HumanEval и GSM8K. Эти результаты не гарантируют аналогичное качество в конкретных приложениях. Модель распространяется под лицензией Apache-2.0.

Ronnied1588 публикует GGUF-сборку Qwen2.5-7B-Instruct-heretic — версии Qwen2.5-7B-Instruct, обработанной методом abliteration для снижения склонности к отказам. Исходную обработку выполнил LeadFootThrottleCock с помощью Heretic v1.2.0; каталог указывает базовую модель Qwen/Qwen2.5-7B-Instruct и 7,1 млрд параметров. Архитектура — плотная причинная языковая модель Qwen2 с поддержкой диалогов и контекстом до 32 768 токенов. Модель предназначена для диалоговой генерации текста, творческого письма, ответов на вопросы, обсуждения спорных тем и программирования. В README описаны варианты GGUF от BF16 до нескольких уровней квантования, запуск через llama.cpp, LM Studio и Ollama, а также интерактивные проверки творческих, научных и кодовых задач. Карточка сообщает о низком значении KL-дивергенции относительно исходной модели и результатах проверки отказов, но это не является независимой оценкой качества. Модель ориентирована на английский язык; возможности других языков в карточке не подтверждены. Abliteration снижает поведение отказа, поэтому ответы на потенциально опасные запросы могут быть менее ограничены. Лицензия — Apache-2.0.

onnx-community/Qwen3.5-0.8B-ONNX-OPT — ONNX-версия постобученной мультимодальной модели Qwen3.5-0.8B, разработанной командой Qwen. Это каузальная языковая модель с vision encoder, предназначенная для обработки текста и изображений, включая задачи рассуждения, программирования, визуального понимания, агентных сценариев, прототипирования, исследовательской разработки и специализированного дообучения. Артефакты совместимы с Hugging Face Transformers.js и ONNX Runtime. Модель содержит 0,8 млрд параметров, 24 слоя и скрытое измерение 1024. В архитектуре сочетаются Gated Delta Networks, Gated Attention и feed-forward блоки; заявлена гибридная архитектура с sparse Mixture-of-Experts на уровне семейства Qwen3.5. Нативная длина контекста составляет 262 144 токена. Модель поддерживает 201 язык и диалект, а также мультимодальный ввод текста и изображений. Благодаря небольшому размеру она ориентирована на более экономичный инференс и локальные эксперименты, однако уступает более крупным моделям по качеству и предназначена прежде всего для задач разработки и исследований. Модель распространяется по лицензии Apache 2.0. README не содержит подробностей о требованиях к аппаратному обеспечению, точных форматах входных изображений и ограничениях коммерческого применения, поэтому эти аспекты следует уточнять отдельно.

Rebine/Qwen3.5-Embedding-0.8B — текстовая модель эмбеддингов, дообученная на базе Qwen/Qwen3.5-0.8B-Base для семантического поиска, в первую очередь для извлечения воспоминаний агентами. Она принимает запросы и фрагменты текста, кодирует их в векторы размерностью до 1024 и поддерживает уменьшение размерности до 128, 256, 512 или 768. Контекст составляет 2048 токенов; архитектура — плотная текстовая модель Qwen3.5 с 24 слоями, включая линейное и полное внимание. Модель рассчитана на китайский и английский языки и подходит для поиска по базам знаний, архивам диалогов и технической документации, в том числе по коротким ключевым запросам и вопросам на естественном языке. Для запросов README предписывает добавлять инструкцию, использовать pooling по последнему токену и L2-нормализацию; для фрагментов текста инструкция не нужна. Модель распространяется под лицензией Apache-2.0. README приводит результаты сравнений на наборах для поиска воспоминаний и обычного контента; на некоторых тестах модель уступает Qwen3-Embedding-0.6B, а на других превосходит её, поэтому качество следует оценивать на собственном корпусе. Для корректной работы нужно самостоятельно реализовать предписанные обработку запросов и pooling: готовой обёртки sentence-transformers нет.

MihaiPopa-1 выпустил вариант Empero Qwen3.8-2B-Distill с ослабленным отказом от ответов. Это плотная причинная языковая модель на 2 млрд параметров, полученная полным дообучением дистиллированной модели Empero; README сообщает о снижении доли отказов с 83 до 4 на 100 примерах. Модель предназначена для диалогов, следования инструкциям, математических задач и рассуждений; поддерживает вызов инструментов по спецификации Qwen3.5. Веса доступны в формате Safetensors для Transformers и совместимых сред выполнения. Модель работает с текстом, имеет контекст длиной 262 144 токена и рассчитана прежде всего на английский язык. README указывает, что обучение сосредоточено на математике, рассуждениях и следовании инструкциям; малый размер подходит для периферийных устройств, хотя практическая скорость зависит от среды выполнения и доступных ядер. Ограничения включают меньшую ёмкость для фактического извлечения и сложных многошаговых задач, а также повторяющиеся циклы при жадной генерации длинных ответов. Поведение зрения унаследовано от базовой архитектуры, но в README не оценивалось. Лицензия — Apache-2.0.

Sayan01/tiny-bert-qnli-distilled — компактная дистиллированная модель семейства BERT, опубликованная пользователем Sayan01 на Hugging Face. Она предназначена для классификации пар текстов в задаче QNLI и может использоваться через Transformers как модель text-classification для sequence classification. Модель имеет около 15,6 млн параметров, архитектурную основу BERT и максимальную длину входа 512 токенов. Она ориентирована на английский язык и подходит для определения отношения между вопросом и текстовым фрагментом, например для проверки, содержит ли фрагмент ответ на вопрос. Компактный размер упрощает локальный запуск и снижает требования к ресурсам, но модель специализирована на классификации, не генерирует ответы и не предназначена для произвольного многоязычного применения. Сведения о лицензии в доступных источниках не установлены.

Tooka-SBERT-V2-Large — крупная модель Sentence Transformers на архитектуре BERT, разработанная PartAI на базе TookaBERT-Large. Она преобразует предложения и абзацы в плотные векторные представления для оценки семантического сходства, поиска и ранжирования текстов. Для асимметричного поиска запросы оформляются с префиксом «سوال: », а документы — «متن: ». Модель дообучена с функциями потерь CachedMultipleNegativesRankingLoss и CoSENTLoss на синтетических наборах данных. В карточке сообщается, что на бенчмарке PTEB она в среднем превосходит mE5-Base; результаты зависят от задачи. Модель рассчитана на персидский язык, имеет 451,8 млн параметров и контекст до 512 токенов. Лицензия в предоставленных данных не указана.

Tower+ 9B — многоязычная языковая модель Unbabel на архитектуре Gemma 2 с 9 млрд параметров. Она создана на основе google/gemma-2-9b и прошла непрерывное предварительное обучение, настройку на следование инструкциям и оптимизацию предпочтений. Модель принимает текст и генерирует текст; контекстное окно составляет 8192 токена. Модель предназначена прежде всего для многоязычных задач, особенно машинного перевода. Она также подходит для выполнения инструкций на разных языках, включая задачи на рассуждение и код, а также для создания синтетических многоязычных данных. В карточке заявлена поддержка 22 языков, включая русский, английский, немецкий, французский, испанский, китайский, японский, хинди и украинский. Модель распространяется в формате Safetensors и доступна через Transformers. Лицензия в метаданных — CC-BY-NC-SA-4.0; README указывает CC-BY-NC-4.0, поэтому условия следует сверить с актуальной лицензией репозитория. Авторы отмечают высокую эффективность в переводе, но не приводят количественных оценок в предоставленной карточке.

Это модель автоматического распознавания речи на бенгальском языке, созданная дообучением facebook/wav2vec2-xls-r-300m командой или автором arijitx на наборе OPENSLR_SLR53. Она использует архитектуру Wav2Vec2ForCTC и принимает аудио, преобразуя речь в текст. В метаданных указано 402,8 млн параметров; модель доступна в формате PyTorch. Модель предназначена для транскрибации бенгальской речи. На тестовой выборке без языковой модели автор сообщает WER 0,217 и CER 0,047; с пятиграммовой языковой моделью, обученной на данных AI4Bharat IndicCorp, показатели составили WER 0,153 и CER 0,034. Для использования результата с языковой моделью потребуется соответствующая внешняя языковая модель. Модель распространяется по лицензии Apache-2.0. Оценка проведена на 5% из 10 935 примеров; README приводит неоднозначное описание разбиения, поэтому точную процедуру формирования тестовой выборки следует учитывать при сравнении результатов.

Whisper Medium Vaani Telugu — дообученная командой ARTPARK-IISc модель распознавания речи на базе OpenAI Whisper Medium. Она предназначена для автоматической транскрибации речи на телугу в текст; в метаданных указан датасет ARTPARK-IISc/Vaani. Модель имеет архитектуру Whisper с 455,8 млн параметров и принимает аудио, выдавая текст. Поддерживаемый язык — телугу. Репозиторий содержит веса в формате safetensors и распространяется по лицензии MIT.

argilla/zephyr-7b-spin-iter3-v0 — диалоговая языковая модель, созданная Argilla и сообществом Data Is Better Together. Это дообученная версия argilla/zephyr-7b-spin-iter2-v0 на тщательно отобранных наборах argilla/10k_prompts_SPIN_iter3_zephyr_top и argilla/10k_prompts_SPIN_iter2_zephyr_top; авторы отмечают, что подход SPIN достиг сопоставимых результатов при значительно меньшем объёме данных. Модель построена на архитектуре Mistral и содержит 7,1 млрд параметров. Она предназначена для генерации текста в диалоговом формате и рассчитана на контекст до 32 768 токенов. В README приведены результаты MT-Bench для предыдущих итераций семейства, но отдельные оценки для iter3 не указаны. Модель распространяется под лицензией Apache-2.0. Карточка не описывает специальные предметные области и не приводит подробных ограничений; применимость ответов следует оценивать для конкретной задачи.

ATLES-Champion — модель эмбеддингов предложений, созданная Connor (spartan8806) для английского семантического сходства и интеллектуальной маршрутизации запросов в системе ATLES. Это дообученная версия all-mpnet-base-v2 на STS-Benchmark; модель на архитектуре MPNet содержит 136,7 млн параметров, выдаёт векторы размерности 768 и рассчитана на контекст до 514 токенов. В карточке сообщаются высокие результаты на английских задачах сравнения предложений и кластеризации; модель также может применяться для маршрутизации запросов по смыслу. Основной язык модели — английский. Для многоязычного поиска и межъязыкового сопоставления она подходит ограниченно: README отмечает слабые результаты на кросс-языковых задачах и особенно низкие — для турецкого и восточноевропейских языков. Лицензия — MIT.

Xenova/bge-reranker-base — модель переранжирования текстов, представляющая ONNX-версию BAAI/bge-reranker-base. Модель подготовлена для работы с библиотекой Transformers.js и предназначена для запуска в JavaScript-средах, включая сценарии, где требуется совместимость с WebML. Основное назначение модели — оценивать и ранжировать текстовые варианты, например результаты поиска или документы относительно запроса. В README указана поддержка задачи text-ranking и совместимость с Transformers.js; модель можно использовать через pipeline с типом text-classification. Архитектура, количество параметров, поддерживаемые языки, модальности и размер контекстного окна не указаны. К сильным сторонам относятся формат ONNX, интеграция с Transformers.js и возможность применения в веб-ориентированных сценариях. Ограничения и точные характеристики качества в предоставленных данных не описаны. Лицензия модели в README не указана.

Cerebrum-1.0-10.7B — плотная языковая модель семейства Mistral, разработанная AetherResearch. Это версия с увеличенной глубиной, полученная методом passthrough merge из Cerebrum-1.0-7b; исходная Cerebrum-1.0-7b основана на Mistral-7B-v0.1 и дообучена для задач рассуждения. Модель содержит 10,6 млрд параметров, работает с текстом и поддерживает контекст до 32 768 токенов. Модель предназначена для дальнейшего дообучения или использования как замена исходной версии на 7 млрд параметров. Она ориентирована на пошаговое решение задач, в том числе математических, логических и требующих планирования; README также описывает применение для задач на знания, мозгового штурма и творческой генерации. Для лучшего результата предлагается шаблон Alpaca с просьбой описать ход рассуждений. Модель распространяется в формате safetensors по лицензии Apache-2.0. Заявленные в README результаты сравнения относятся к версии Cerebrum-1.0-7b и не подтверждают автоматически аналогичную производительность версии 10.7B; кроме того, качество зависит от формулировки запроса и выбранного шаблона.

DeltaP2S-Qwen2.5-14B-P2S-Code-S13 — объединённый чекпойнт на базе Qwen2.5, созданный разработчиком g-assismoraes с помощью экспериментального пакета Delta-P2S с поддержкой Qwen. Модель представляет собой плотную авторегрессионную языковую модель семейства Qwen2, содержит 14 млрд параметров и рассчитана на генерацию текста в диалоговом режиме. Указанная длина контекста — 131072 токена. Название указывает на вариант Code, однако README не описывает его обучающие данные, конкретные возможности программирования или результаты оценки, поэтому специализированное качество в задачах кода подтвердить нельзя. Модель опубликована в формате safetensors для Transformers. Лицензия в предоставленных данных не указана.

LayerSkip Llama2 70B — языковая модель Meta, созданная на основе Meta Llama 2 70B посредством дальнейшего предобучения с LayerSkip. Она генерирует текст и поддерживает ускоренное декодирование с ранним выходом: ранние слои формируют черновой ответ, а оставшиеся слои его проверяют. Такой режим предназначен для ускорения авторегрессионной генерации, сохраняя качество проверки основной моделью. Модель рассчитана на англоязычные задачи генерации естественного языка и кода. README приводит замеры на восьми GPU NVIDIA A100: 12,49 токена в секунду при self-speculative decoding против 9,89 при обычном декодировании в описанной конфигурации. Для полного выигрыша в памяти и производительности предлагается оптимизированная реализация LayerSkip; вариант через Hugging Face требует дополнительной памяти для KV-кэша и активаций. Модель распространяется в форматах PyTorch и Safetensors; лицензия указана как other, поэтому условия следует уточнять в карточке и лицензии базовой модели.

LeoScorpius-7B-Chat-DPO — чат-модель, дообученная viethq188 методом DPO на датасете Nectar на базе viethq188/LeoScorpius-7B. Модель построена на архитектуре Mistral, содержит 7,1 млрд параметров и рассчитана на генерацию текста; для форматирования запросов в карточке предложен шаблон Alpaca с полями system, Instruction и Response. Модель подходит для диалогов и ответов на инструкции в формате текстового чата. Заявленные в карточке позиции в рейтингах относятся к обновлению от 14 декабря 2023 года. Контекстное окно составляет 32 768 токенов. Модель распространяется по лицензии Apache-2.0.

YeonwooSung/Llama-3.1-8B-OpenO1-SFT-v0.1 — плотная авторегрессионная языковая модель семейства Llama 3.1, разработанная на основе Meta Llama 3.1 8B Instruct и дообученная методом supervised fine-tuning на датасете O1-OPEN/OpenO1-SFT. Она предназначена для генерации текста и диалогов с пошаговым рассуждением, ответов на вопросы, продолжения текста, суммаризации и творческого письма; особенно ориентирована на задачи рассуждения и математики. Модель содержит 7,5 млрд параметров, принимает текст и выдаёт текст, работает через Transformers и распространяется в формате safetensors. Указанный родной контекст — 131 072 токена. В карточке заявлена поддержка английского языка; базовая модель описана как многоязычная, но конкретные дополнительные языки для этой версии не подтверждены. Лицензия — Apache-2.0. Для запуска в полной точности README рекомендует GPU примерно с 16 ГБ видеопамяти; качество ответов и надёжность пошаговых выводов не подтверждены приведёнными оценками.

RLHFlow/LLaMA3-SFT — контрольная точка supervised fine-tuning, подготовленная авторами проекта RLHFlow/Online-RLHF для исследований обучения с обратной связью от людей. Модель основана на Meta Llama 3 8B и дообучена за одну эпоху на смеси разнообразных высококачественных открытых данных. В метаданных указаны архитектура LlamaForCausalLM, около 7,5 млрд параметров, библиотека Transformers и контекст до 8192 токенов. Модель предназначена для генерации текста и диалоговых сценариев, а также как начальная точка для экспериментов с RLHF. Авторы подчёркивают, что сама эта контрольная точка не обучалась с помощью RLHF. В README приведены результаты академических бенчмарков, в том числе по математическим задачам, программированию и общим знаниям. Лицензия в предоставленных данных не указана.

Allen Institute for AI (AI2) разработал эту англоязычную чат-модель семейства Tulu на архитектуре Llama 3. Модель содержит около 7,5 млрд параметров, принимает текст и генерирует текст; длина контекста — 8192 токена. Она дообучена методом PPO с использованием UltraFeedback и модели вознаграждения на 8B параметров, чтобы улучшить ответы помощника на инструкции и диалоги. Модель предназначена для генерации ответов, диалогов и решения разнообразных задач по текстовым инструкциям. В карточке приведены результаты оценки на GSM8k и AlpacaEval 2; для применения рекомендуется формат сообщения, заданный шаблоном чата токенизатора. Лицензия в метаданных — Apache 2.0; README также упоминает лицензию сообщества Meta Llama 3. Модель может выдавать проблемные ответы, поскольку этап RLHF не был нацелен на безопасные завершения и не использовалась фильтрация ответов во время работы.

LLM-jp-4-VL 9B — мультимодальная модель зрения и языка, разработанная LLM-jp. Она сочетает языковую модель llm-jp/llm-jp-4-8b-thinking на 8,6 млрд параметров, визуальный энкодер SigLIP 2 So400m на 0,4 млрд параметров и двухслойный MLP-проектор; архитектура вдохновлена InternVL3.0. Модель дообучена для работы с изображениями и диалогов на японском и английском языках, а также формирует рассуждение перед итоговым ответом. Модель предназначена для ответов на вопросы по изображениям, понимания документов и диаграмм, мультимодальных задач и текстовых задач на рассуждение. Разработчики сообщают об улучшении относительно бета-версии на некоторых текстовых и сложных задачах понимания диаграмм; качество различается между бенчмарками и задачами. Модель доступна в формате Safetensors и использует лицензию Apache-2.0.

Felldude/Ministral-3-8B-Uncensored-FP8 — мультимодальная модель на архитектуре Mistral 3, дообученная на задачах, связанных с изображениями и текстом. Она включает языковую часть на 8,4 млрд параметров и визуальный энкодер на 0,4 млрд параметров и предназначена для понимания изображений и генерации текстовых ответов. Модель поддерживает многоязычные сценарии, следование системным инструкциям, вызов функций и выдачу структурированного JSON; заявлено контекстное окно 256 тыс. токенов и оптимизация для запуска на периферийных устройствах. Основные сценарии — описание изображений, извлечение текста и данных с изображений, классификация текста и мультимодальные ассистенты. В README также заявлены перевод в реальном времени и применение для NSFW-контента, включая подписи к изображениям и генерацию историй и ответов. Для запуска приведён пример на Transformers с CUDA. Модель распространяется по лицензии Apache 2.0; качество заявленных возможностей независимо не подтверждено карточкой.

Abiray/Nanbeige4.2-3B-GGUF — набор квантизированных версий модели Nanbeige/Nanbeige4.2-3B, опубликованный в формате GGUF. Модель разработана Nanbeige; в репозитории представлены файлы для локального запуска через llama.cpp. Базовая архитектура — Looped Transformer с 3 миллиардами параметров без учёта embedding-параметров. Модель предназначена для генерации текста, включая задачи, связанные с кодом и агентными сценариями. Указанные языки — английский и китайский. Мультимодальные возможности и размер контекста в README не указаны. Доступны варианты квантизации от 4 до 8 бит: Q4_K_S и Q4_K_M уменьшают требования к памяти, Q5_K_M и Q6_K обеспечивают более высокую точность, а Q8_0 ориентирован на максимальное качество среди GGUF-версий. Квантизация позволяет запускать модель локально, но может снижать качество относительно исходной версии, особенно при использовании более агрессивных вариантов. Распространение указано под лицензией Apache-2.0. Для запуска рекомендуется llama.cpp с поддержкой Nanbeige4.2; конкретные требования к оборудованию и производительности зависят от выбранного файла квантизации.

Neural-Chat-v3-3 — языковая модель Intel с 7,1 млрд параметров на архитектуре Mistral, предназначенная для генерации текста и диалоговых ответов. Она создана дообучением Intel/neural-chat-7b-v3-1 на математическом наборе MetaMathQA и выравниванием методом DPO на парах предпочтений Intel/orca_dpo_pairs. Модель опубликована в декабре 2023 года и доступна в форматах PyTorch и Safetensors. Модель подходит для диалоговых сценариев и языковых задач, включая ответы на математические вопросы. Метаданные указывают контекст до 32 768 токенов, тогда как README приводит 8 192 токена, поэтому фактическое ограничение следует проверять для используемой конфигурации. Лицензия — Apache-2.0. Модель может выдавать фактически неверные ответы, а также предвзятый или оскорбительный контент. Для приложений с реальными пользователями необходимы проверки безопасности; качество ответов зависит от формулировки запроса.

NeuralMonarch-7B — языковая модель на 7,1 млрд параметров, разработанная Mlabonne на основе Monarch-7B. Это плотная авторегрессионная модель семейства Mistral, дообученная методом DPO на наборах предпочтений truthy-dpo-v0.1 и distilabel-intel-orca-dpo-pairs. Исходная Monarch-7B создана слиянием нескольких моделей, включая OmniTruthyBeagle-7B-v0, NeuBeagle-7B и NeuralOmniBeagle-7B. Модель предназначена для диалогов, следования инструкциям и задач рассуждения. Карточка рекомендует шаблон чата Mistral Instruct и сообщает об окне контекста 8 тыс. токенов; метаданные указывают нативный контекст 32 768 токенов. Заявлены хорошие результаты в бенчмарках для моделей класса 7B, однако эти оценки не гарантируют качество в конкретных сценариях. Модель принимает текст и генерирует текст. В карточке указан английский язык. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое использование.

blackmlengineer/occucoder-en-small-v0 — компактная модель Sentence Transformers на архитектуре BERT, обученная разработчиком blackmlengineer для сопоставления коротких текстов. Она преобразует предложения и абзацы в плотные векторы размерности 128; сходство оценивается косинусной мерой. Модель предназначена для извлечения признаков, поиска и ранжирования текстов по смысловому соответствию. Обучение проводилось на 991 580 примерах с парами и отрицательными примерами, с функцией потерь MultipleNegativesRankingLoss. Максимальная длина входа — 32 токена. Карточка показывает англоязычные примеры профессиональных названий и сообщает о поддержке текстовой модальности; лицензия в предоставленных данных не указана.

cross-encoder/qnli-distilroberta-base — англоязычный кросс-энкодер на архитектуре RoBERTa, разработанный и обученный с помощью SentenceTransformers. Модель дообучена на distilbert/distilroberta-base для оценки пары «вопрос — абзац»: она определяет, может ли абзац ответить на вопрос. Обучающие данные основаны на наборе GLUE QNLI, преобразованном из SQuAD в задачу вывода по тексту. Модель содержит 95,2 млн параметров, принимает текстовые пары и выдаёт оценку релевантности, пригодную для ранжирования абзацев по соответствию вопросу. Поддерживает английский язык и контекст длиной до 514 токенов. Доступны веса в форматах PyTorch, safetensors, ONNX, OpenVINO и Flax; лицензия — Apache-2.0. Подходит для поиска ответов в документах и ранжирования кандидатов при вопросно-ответном поиске. Оценка обучена на QNLI и не гарантирует фактическую правильность ответа; результаты за пределами английского языка и заданного контекста не подтверждены.

Qwen2.5-14B-Instruct-heretic — это модифицированная версия Qwen2.5-14B-Instruct, разработанная автором RACER IS OP и опубликованная пользователем saidutta69. Модель предназначена для диалогов, генерации текста, рассуждений и выполнения инструкций, особенно в сценариях, где требуется прямой ответ без стандартных отказов базовой модели. Она работает с текстом и заявлена для английского языка. Модель сохраняет архитектуру и размер базовой Qwen2.5-14B-Instruct — около 14,8 млрд параметров. Деконтентирование выполнено с помощью Heretic v1.4.0 методом направленной абляции: целевые изменения внесены в веса выходных проекций attention и down-пр projections MLP без дообучения. По данным README, частота отказов на наборе из 100 adversarial-запросов снизилась с 98 до 14, а KL-дивергенция относительно базовой модели составила 0,06, что указывает на небольшие изменения распределения ответов. Сильная сторона модели — сохранение исходных знаний и навыков следования инструкциям при существенно меньшем числе отказов. Доступны полноточные BF16-веса и GGUF-квантизации Q4_K_M, Q5_K_M, Q6_K и Q8_0; запуск возможен на GPU с 16–24 ГБ памяти, потребительском оборудовании, CPU и Apple Silicon. Ограничения включают отсутствие дополнительного прироста возможностей, унаследованные фактические ограничения и предубеждения базовой модели, а также намеренное подавление защитных механизмов: модель может выполнять потенциально небезопасные запросы и не подходит для неотмодерированных публичных сервисов. Лицензия — qwen-research; условия коммерческого использования следует уточнять в лицензии базовой модели.

Qwen2.5-3B — базовая предобученная языковая модель семейства Qwen2.5, разработанная командой Qwen. Это плотная причинная трансформерная модель с 3,1 млрд параметров, архитектурой Qwen2 и контекстом до 32 768 токенов. В архитектуре используются RoPE, SwiGLU, RMSNorm, смещение в QKV-внимании и связанные эмбеддинги; модель содержит 36 слоёв и применяет GQA с 16 головами Q и 2 головами KV. Модель предназначена для дальнейшего обучения и адаптации, включая SFT, RLHF и продолжение предобучения. Она может служить основой для генерации и продолжения текста, а семейство Qwen2.5 отмечено улучшениями в программировании, математике, следовании инструкциям, работе с длинным текстом, таблицами и структурированными, в том числе JSON, ответами. Эта версия является базовой, поэтому разработчики не рекомендуют использовать её непосредственно для диалогов. Семейство поддерживает более 29 языков, в том числе русский и английский. Репозиторий содержит веса в формате safetensors, а для работы рекомендуется актуальная версия Transformers. Лицензия в метаданных обозначена как other; конкретные условия следует сверять с карточкой модели.

DavidAU представил Qwen3-30B-A3B-YOYO-V2-Claude-4.6-Opus-High-INSTRUCT как instruct-модель для диалогов и задач, требующих рассуждений. Это дообученная на базе YOYO-AI/Qwen3-30B-A3B-YOYO-V2 модель семейства Qwen3 MoE; в репозитории указаны Transformers и формат safetensors. В метаданных указан размер 2,6 млрд параметров, а карточка описывает исходную архитектуру как модель на 30 млрд параметров с 3 млрд активных параметров, 128 экспертами и контекстом 256 тыс. токенов. При этом метаданные указывают нативный контекст 1 010 000 токенов, поэтому фактическую поддерживаемую длину следует проверять для используемой конфигурации. Модель предназначена для генерации ответов в чате и выдачи рассуждений; автор сообщает о настройке на датасете TeichAI/claude-4.5-opus-high-reasoning-250x и приводит результаты нескольких бенчмарков. README называет её гибридом instruct и reasoning и отмечает, что короткие следы рассуждений могут появляться в тексте генерации. Заявления о превосходстве в бенчмарках принадлежат автору и приведённые в карточке данные не позволяют независимо их подтвердить. Язык карточки — английский; подтверждена лицензия Apache-2.0.