II.10Разработка и эксплуатация AI/ML-систем

Ling-3.0-flash-base — базовая языковая модель семейства Ling-3.0, выпущенная разработчиками InclusionAI. Это предварительно обученный чекпойнт на 3,5 млрд параметров с архитектурой Bailing MoE и гибридным линейным вниманием KDA и Gated MLA; длина контекста составляет 262 144 токена. В модели задействованы 512 маршрутизируемых экспертов, из которых на каждый токен активируются восемь, а также один общий эксперт. Модель предназначена для продолжения предобучения, промежуточного обучения, дообучения под конкретные области и последующего обучения с предпочтениями или RL. Она также подходит для исследований длинного контекста и MoE-систем. Чекпойнт не прошёл постобучение, поэтому не рассчитан на прямое использование как чат-ассистент; перед прикладным применением нужны дополнительное выравнивание и проверка под целевую задачу. Модель опубликована под лицензией MIT.

AvoCahDoe выпустил исследовательскую версию Llama 2 7B с квантованием RL-MPQ: PPO выбирает разрядность отдельно для каждого слоя, чтобы найти компромисс между сжатием весов и качеством генерации. Репозиторий содержит пять сценариев квантования — от High_Fidelity до Extreme_Survival; для них можно выбирать подкаталоги при загрузке через Transformers. Модель основана на meta-llama/Llama-2-7b-hf и имеет 6,6 млрд параметров, контекст 4096 токенов и англоязычную специализацию. В README приведены результаты оценки perplexity на WikiText-2 для трёх сценариев: от 4,9808 при среднем размере 6,5 бита до 5,0437 при 4,375 бита. Это вариант для экспериментов с компрессией и генерацией текста; результаты для остальных сценариев в доступной карточке не приведены. Весовые файлы представлены как fake-quant FP16, а вместе с ними поставляется политика rlmpq_policy.json. Лицензия — Llama 2; её условия распространяются на использование модели.

BlackSamorez/llama-2-tiny-testing — компактная языковая модель семейства Llama, опубликованная пользователем BlackSamorez на Hugging Face. Модель предназначена для авторегрессионной генерации текста и запускается через библиотеку Transformers с задачей text-generation. Модель содержит около 8,8 млн параметров и поддерживает контекст до 2048 токенов. Её можно использовать для экспериментов с генерацией продолжений текста, проверки интеграций и тестирования инференса на ограниченных ресурсах. Доступные данные не подтверждают поддержку конкретных естественных языков, мультимодальность, диалоговую настройку или специализированную предметную область. Это тестовая модель небольшого размера, поэтому её возможности и качество существенно ограничены по сравнению с полноразмерными Llama-моделями; модельная карточка отсутствует. Лицензионные условия в доступных источниках не приведены, поэтому перед использованием необходимо проверить сведения в репозитории модели.

RLHFlow/Llama3.1-8B-PRM-Mistral-Data — процессно-ориентированная reward-модель (PRM) проекта RLHFlow, предназначенная для оценки промежуточных шагов в решениях задач и отбора ответов, сгенерированных языковой моделью. Она дообучена на один эпохе на данных RLHFlow/Mistral-PRM-Data, созданных Mistral, на базе meta-llama/Llama-3.1-8B-Instruct. Модель использует плотную архитектуру LlamaForCausalLM, содержит 7,5 млрд параметров и работает с контекстом до 131 072 токенов; веса опубликованы в формате safetensors для Transformers. Сценарии применения включают оценивание цепочек рассуждений и best-of-N отбор кандидатов при генерации математических ответов. В README приведены результаты сравнительной оценки с генераторами Mistral-7B и Deepseek-7B на GSM8K и MATH, однако это не означает, что модель сама генерирует ответы или что приведённые показатели являются её отдельными метриками. Лицензия в предоставленных данных не указана.

dispatchAI публикует квантованную версию Meta Llama 3.2 1B Instruct в формате GGUF с квантизацией Q8_0. Модель содержит 1,23 млрд параметров и занимает около 1,3 ГБ. Она предназначена для генерации текста и диалоговых приложений на мобильных и периферийных устройствах. Карточка рекомендует Q8-вариант для чат-ботов и модерации контента, когда важнее сохранить качество ответов, чем минимизировать размер модели. Модель рассчитана на английский язык. Репозиторий распространяется по лицензии Llama 3.2; перед использованием следует учитывать её условия. В карточке не приведены сведения о длине контекста или конкретных ограничениях точности.

Luciole-23B-Base — базовая предобученная причинно-языковая модель, разработанная LINAGORA и консорциумом OpenLLM-France в рамках проекта OpenLLM France. Это плотная модель семейства Nemotron с 31,5 млрд параметров в репозитории и контекстом до 131 072 токенов; веса опубликованы в формате Safetensors под лицензией Apache 2.0. Модель обучена предсказывать следующий токен на многоязычных данных. Она предназначена как основа для дальнейшего дообучения, например для генерации текстов на французском и английском языках или специализированных задач после адаптации. Поддерживаемые языки включают также немецкий, испанский, итальянский, португальский, нидерландский и арабский, а в обучении присутствовали региональные языки и программный код. Модель не рассчитана на непосредственное использование в пользовательских сценариях без дообучения; качество на языках помимо французского и английского может быть ниже, а кодовая составляющая обучения не делает её оптимизированной для генерации кода. Она может воспроизводить токсичный или оскорбительный контент и унаследованные из обучающих текстов предубеждения; рекомендуется настройка инструкциями и предпочтениями.

Mezzo Content Guard v1.5 Nano — англоязычная модель для классификации и модерации текстового контента, разработанная RyanStudio. Она дообучена на Ettin Encoder 17M с архитектурой ModernBERT и использует mean pooling. Модель размечает пять категорий: hate speech, self-harm, sexual, toxic и violence; её можно применять для фильтрации пользовательских сообщений и выявления потенциально вредного контента. Размер этой версии — 16,8 млн параметров, максимальный контекст — 7999 токенов. Доступны веса в форматах ONNX и safetensors; лицензия — Apache-2.0. По опубликованным результатам серии Mezzo Content Guard v1.5 качество зависит от размера модели и порога классификации; порог можно менять, балансируя точность и полноту. Отдельные результаты именно Nano в карточке не приведены. Модель ориентирована на английский язык и может хуже работать с многоязычным текстом, современным сленгом и обходами фильтров; возможны ошибки разметки и чрезмерная блокировка упоминаний маргинализированных групп.

Mezzo Content Guard v1.5 Small — англоязычная модель модерации текста, разработанная RyanStudio. Она дообучена на базе энкодера Ettin Encoder 68M с архитектурой ModernBERT и классифицирует текст по категориям hate speech, self-harm, sexual, toxic и violence. Модель содержит 68,1 млн параметров, принимает последовательности длиной до 7 999 токенов и доступна в форматах Safetensors и ONNX. Для агрегации представлений используется mean pooling; карточка сообщает, что серия обучена на размеченных примерах с дополнительной очисткой данных в версии 1.5. Модель предназначена для фильтрации пользовательского контента и выявления потенциально вредных сообщений. В опубликованных бенчмарках Small показывает F1 0,8366 при пороге 0,5; изменение порога позволяет менять баланс точности и полноты. Модель ориентирована на английский язык и может хуже работать с другими языками, современной разговорной лексикой и обходами фильтров. Разметка данных выполнялась с помощью других моделей, поэтому их ошибки могут отражаться в предсказаниях; также возможно чрезмерное срабатывание на упоминаниях маргинализированных групп. Лицензия — Apache-2.0.

Mimi — нейронный аудиокодек, разработанный Kyutai. Модель содержит 33,6 млн параметров и использует потоковую архитектуру энкодера-декодера с квантованным латентным пространством. Она представляет речь семантическими и акустическими аудиотокенами с частотой 12,5 Гц и битрейтом 1,1 кбит/с. Mimi предназначена для потокового сжатия и восстановления речи, а также для подготовки аудиотокенов при обучении речевых языковых моделей и систем синтеза речи. Модель принимает аудио и извлекает признаки; карточка Hugging Face относит её к задаче feature-extraction. В карточке указано ограничение контекста 8000 токенов. Обучение на речевых данных делает её специализированной для речи, а не универсальным кодеком для всех типов аудио. Модель разработана Kyutai и распространяется по лицензии CC-BY 4.0. В карточке отмечены смещения, связанные с представленностью тем в обучающих данных, и ограничение одним синтезируемым голосом; модель не предназначена для имитации голосов других людей.

F-Labs выпустила экспериментальную адаптивно-квантованную версию языковой модели MiniCPM5-2B для генерации текста и диалогов. Она основана на openbmb/MiniCPM5-2B и использует архитектуру MiniCPMHadamardForCausalLM с плотной сетью примерно на 2,2 млрд параметров и контекстом до 131 072 токенов. Модель рассчитана на оценку и запуск через PyTorch и Transformers с пользовательским загрузчиком из репозитория. Веса сочетают BF16 для 234 чувствительных к качеству проекций и групповую INT8-квантизацию для 60 MLP-проекций; в пайплайне также применяются преобразования Hadamard/Rademacher и низкоранговые остаточные факторы. Размер артефакта около 4,02 ГиБ. Карточка приводит ограниченную проверку на трёх англоязычных, китайских и русскоязычных запросах, но не подтверждает качество на широких бенчмарках. Модель поддерживает английский, китайский и русский языки. Лицензия — Apache-2.0.

MobileViT-XX-Small — компактная модель классификации изображений, представленная Sachin Mehta и Mohammad Rastegari и опубликованная в репозитории Apple. Она предварительно обучена на ImageNet-1k при разрешении 256×256 и предназначена для присвоения изображениям меток из 1000 классов ImageNet. Архитектура сочетает свёрточные слои в стиле MobileNetV2 с блоками Transformer: изображение разбивается на участки для глобальной обработки, после чего признаки снова собираются в карты. Вариант XXS содержит 1,3 млн параметров; в карточке указаны реализации PyTorch, TensorFlow и Core ML. Для оценки приводятся точность ImageNet top-1 69,0% и top-5 88,9%. Модель подходит для классификации изображений в мобильных и других сценариях с ограничениями по задержке и вычислительным ресурсам. Для предсказаний требуется подготовить изображение по схеме карточки, включая BGR-порядок каналов, изменение размера, центральное кадрирование и нормализацию пикселей в диапазон [0, 1]. Для предметных классов вне ImageNet-1k может потребоваться дообученная версия. Указана лицензия Apple Sample Code License.

Moderator — компактная модель классификации изображений для выявления наготы и сексуальной активности, разработчик — desert-ant-labs. Она предназначена для проверки изображений перед загрузкой или показом в приложениях, а также для выборочной модерации видеокадров. Модель выдаёт оценку NSFW от 0 до 1, решение по заданному порогу и оценки для областей тела и категорий контента. Поддерживаются Core ML и LiteRT/TFLite; веса занимают около 9,7 МБ и 9,2 МБ соответственно, а обработка выполняется на устройстве. Для режима accurate в карточке приведены полнота 87,8% и специфичность 93,7% на тестовом наборе из 464 изображений. Доступны режимы fast, balanced и accurate с разным соотношением скорости и полноты. Модель обучена на лицензированных и синтетических данных. Лицензия указана как other; условия коммерческого использования следует сверить с лицензией репозитория. Это вспомогательный инструмент модерации, а не основание для юридических решений.

leomaurodesenv/nli-MiniLM2-L6-H768-jailbreakv-28k-augmented — дообученная модель семейства RoBERTa на основе cross-encoder/nli-MiniLM2-L6-H768. Она предназначена для классификации текста; базовая модель определяет логическое отношение между парой предложений и поддерживает классификацию без отдельного обучения на каждом наборе меток. Модель содержит 95,2 млн параметров, принимает последовательности длиной до 514 токенов и распространяется в формате safetensors. Название указывает на настройку для выявления jailbreak-запросов, однако README не описывает обучающие данные, метки или предполагаемый сценарий применения, поэтому эту специализацию нельзя подтвердить. Указанная в карточке точность 0,9982 относится к оценочному набору, сведения о котором отсутствуют, и сама по себе не гарантирует качество на других данных. Лицензия — Apache-2.0.

Open-MOPD-SmolLM3-3B-RL-IF — англоязычная причинная языковая модель BytedTsinghua-SIA на архитектуре SmolLM3, дообученная методом GRPO на запросах, проверяющих следование инструкциям. Это доменный teacher из конвейера Open-MOPD: модель предназначена прежде всего для дистилляции, а не для использования как универсальный ассистент. Она содержит около 3,1 млрд параметров, имеет 36 слоёв, словарь из 128 256 токенов и контекст до 65 536 токенов; веса опубликованы в BF16 и формате Safetensors, доступны токенизатор и шаблон чата. Модель подходит для генерации ответов на инструкции и создания учительских примеров для обучения или дистилляции других моделей. В карточке приведены результаты IFEval 74,49 и IFBench_test 27,67, выше результатов исходной MixSFT-модели по этим тестам. Обучение оптимизировано только для следования инструкциям, поэтому на других задачах модель может уступать MixSFT. Лицензия — Apache-2.0.

OSim-8B — текстовая постобученная модель для симуляции поведения человека, разработанная группой Carnegie Mellon University Language Technologies Institute (CMU LTI) и опубликованная под идентификатором cmu-lti/osim-8b. Это дообученная версия Qwen/Qwen3-8B с плотной архитектурой Qwen3ForCausalLM и 7,6 млрд параметров; модель принимает текст, поддерживает контекст до 32 768 токенов и выдаёт текст. Её обучали на корпусе OdysSim из 62 поведенческих наборов данных, а затем применяли целевое обучение с подкреплением и консолидацию экспертных данных. Модель предназначена для генерации следующей реплики от лица пользователя или другого участника диалога при заданном социальном контексте: роли, цели, биографии и стиля общения. Её используют для оценки диалоговых и агентных систем, социальной симуляции, моделирования персон и ролевых диалогов. В описанном τ-USI бенчмарке модель показала USI 75,6 на задачах в сферах авиаперевозок и розничной торговли; авторы также отмечают высокую реактивность и калибровку исходов. Модель не ориентирована на поведение полезного ассистента: она имитирует сторону человека или пользователя. Поддержка конкретных языков в карточке не заявлена. Репозиторий распространяется по лицензии MIT.

PandaLM-7B-v1 — языковая модель семейства LLaMA от WeOpenML, представленная в проекте PandaLM по воспроизводимой и автоматизированной оценке языковых моделей. Модель предназначена для генерации текста и может применяться для исследовательских экспериментов по оценке и сравнению языковых моделей. Модель имеет плотную архитектуру LlamaForCausalLM и 6,6 млрд параметров. Она принимает и генерирует текст, а длина контекста составляет 2048 токенов. Веса доступны в форматах PyTorch и Safetensors; лицензия — Apache-2.0. README рекомендует при проблемах использовать AutoTokenizer с параметром use_fast=False.

lamdx4/phobert-vi-moderation — модель классификации текста, дообученная на базе вьетнамского PhoBERT-base-v2. Она использует архитектуру RoBERTa с классификационной головой и предназначена для модерации вьетнамских комментариев: модель оценивает вероятности классов «valid» и «invalid». Размер модели — 162,4 млн параметров, нативная длина контекста — 258 токенов. Для использования нужны токенизатор и Transformers; в примере вход ограничивается 192 токенами. Модель подходит для автоматической предварительной проверки комментариев и передачи подозрительных сообщений на ручную модерацию. Она рассчитана на вьетнамский язык и выдаёт метки классов и их вероятности. Лицензия — GNU AGPL-3.0. Карточка не описывает состав обучающих данных и качество на независимых наборах; поэтому пороги принятия решений следует проверять на данных конкретного сервиса.

PolicyShiftGuard-7B — мультимодальная модель защитных ограничений для проверки изображений, разработанная на базе Qwen2.5-VL-7B. Она принимает изображение и заданный пользователем набор правил, а затем выдаёт структурированное решение о безопасности изображения в соответствии с текущей политикой. Модель предназначена для адаптивной модерации изображений и исследований устойчивости систем безопасности при изменении правил применения. Модель содержит 7,1 млрд параметров, использует архитектуру Qwen2.5-VL и поддерживает контекст длиной до 128 000 токенов. Она дообучена на PolicyShiftBench: обучение включало настройку следования случайно сформированным политикам и адаптацию на парах примеров, различающихся границами допустимости. Репозиторий использует safetensors и библиотеку Transformers; лицензия — Apache-2.0. Это исследовательский чекпойнт для оценки с явно заданными наборами правил, а не универсальный классификатор безопасности. Он может ошибаться на политиках, языках, визуальных областях и условиях развёртывания, не представленных в бенчмарке; результаты не следует считать юридической или комплаенс-рекомендацией.

Polite Guard — модель классификации текста, разработанная Intel и дообученная на базе BERT-base uncased. Она относит текст к одной из четырёх категорий вежливости: вежливый, в некоторой степени вежливый, нейтральный или невежливый. Модель предназначена для анализа отзывов и сообщений службы поддержки, оценки тона общения и сравнения систем по качеству вежливой коммуникации. Архитектура — BERT для классификации последовательностей; в метаданных указано 136,7 млн параметров и контекст до 512 токенов. Модель принимает текст на английском языке и выдаёт метку класса. В тестировании на наборе Polite Guard, включавшем синтетические и вручную размеченные данные, заявлены точность и F1 по 92%. Доступны форматы ONNX и safetensors. Модель выпущена под лицензией Apache-2.0. Обучающие данные состоят из синтетических клиентских диалогов для нескольких отраслей, а карточка предупреждает об ограниченной области валидации: результаты могут быть хуже на других типах текста. Модель не предназначена для оценки эффективности сотрудников и сама по себе недостаточна для предотвращения вреда в чувствительных сценариях.

prometheus-2-llama-3-8b — языковая модель для диалоговой генерации текста, созданная как репликация prometheus-7b-v2.0 на базе Llama 3 8B Instruct. Веса получены слиянием с равными коэффициентами двух моделей, отдельно обученных на наборах Preference-Collection и Feedback-Collection. Модель предназначена для диалоговых сценариев генерации и оценки ответов по предпочтениям и обратной связи. Это плотная авторегрессионная архитектура Llama с 7,5 млрд параметров и контекстом 8192 токена; она принимает текст и выдаёт текст. В карточке указаны английский язык и формат Transformers safetensors. Обучение описано как один этап длительностью одну эпоху с эффективным размером пакета 128, learning rate 1e-5, косинусным расписанием и примерно 5% warmup. Модель распространяется по лицензии Apache-2.0.

Это контрольная точка черновой модели Qwen3 1.7B EAGLE3, обученной разработчиками репозитория методом SpecForge EAGLE3 online training на данных ShareGPT. Она предназначена для ускорения генерации целевой модели Qwen/Qwen3-1.7B с помощью speculative decoding и не является самостоятельной языковой моделью для обычного использования. Модель использует архитектуру LlamaForCausalLMEagle3, веса представлены в формате Safetensors; в карточке указаны размер 361,5 млн параметров и контекст 40 960 токенов. Для работы требуется совместимый код SpecForge/EAGLE3 и целевая модель Qwen/Qwen3-1.7B. Метаданные отмечают английский и китайский языки. Лицензия указана как other, поэтому условия использования следует сверять с лицензией репозитория и базовой модели. В карточке нет заявлений о бенчмарках.

Это компактная черновая модель EAGLE3 от автора репозитория huluhuluu, обученная методом SpecForge для ускорения генерации в Qwen/Qwen3-1.7B с помощью speculative decoding. Она предназначена для использования как вспомогательный draft-чекпойнт вместе с целевой моделью Qwen3-1.7B, а не для самостоятельного диалога или генерации текста. Модель использует плотную архитектуру LlamaForCausalLMEagle3, содержит 411,8 млн параметров и поддерживает контекст до 40 960 токенов. Чекпойнт сохранён в safetensors; README указывает bfloat16 и обучение на данных ShareGPT. Заявлена поддержка английского и китайского языков. Для работы нужны SpecForge/EAGLE3-совместимый код и базовая модель Qwen/Qwen3-1.7B; бенчмарки в карточке не приведены. Лицензия указана как other, без дополнительных условий в доступных данных.

Это контрольная точка черновой модели SpecForge EAGLE3, обученной для совместной работы с Qwen/Qwen3-1.7B. Она предназначена для ускорения генерации целевой модели методом speculative decoding и не является самостоятельной языковой моделью. Для загрузки требуются совместимые с SpecForge/EAGLE3 средства; архитектура чекпойнта — LlamaForCausalLMEagle3, формат весов — Safetensors, число параметров — 361,5 млн, контекст — до 40 960 токенов. Карточка указывает английский и китайский языки; базовая модель Qwen3 описана как многоязычная модель для генерации текста, диалогов, рассуждений, кода и следования инструкциям. Лицензия обозначена как other, без уточнения условий в предоставленных данных. Бенчмарки не приводятся.

Qwen3-4B-Critic-SFT-Qwen-only — критическая модель на базе Qwen3-4B-Instruct-2507, разработанная проектом Steer, Don't Solve для поддержки крупных агентов программирования. Она анализирует траекторию работы агента через заданное число шагов и выдаёт структурированную критику: категории обнаруженных ошибок, подтверждающие свидетельства, действие для восстановления, статус задачи и краткую рекомендацию. Модель предназначена для контроля хода решения задач по программированию и не пишет исправляющий код сама. Это плотная авторегрессионная модель Qwen3 с 3,7 млрд параметров, дообученная полным параметрическим SFT на 1 915 примерах критики траекторий Qwen3-Next-80B-A3B. В README указана длина последовательности обучения 32 768 токенов; метаданные указывают нативный контекст базовой модели до 262 144 токенов. Обучающие примеры охватывают задачи из matplotlib, moto и sympy; в опубликованной абляции модель улучшила процент решения SWE-bench Verified при использовании с агентами Qwen3-Next-80B-A3B и Qwen3-32B. Модель принимает текстовые диалоги и выдаёт текстовую структурированную критику. Карточка описывает англоязычные данные; лицензия — Apache-2.0. Для запуска README рекомендует vLLM с bf16 и интеграцию с mini-swe-agent. Результаты приведены для конкретной абляции и наборов агентов, поэтому они не гарантируют аналогичного улучшения в других системах.

Anbeeld/Qwen3.5-35B-A3B-DFlash-GGUF — это GGUF-квантизации черновой модели DFlash для Qwen3.5-35B-A3B. Модель разработана совместно Z-Lab и Modal, а данный репозиторий подготовлен для использования с BeeLlama.cpp, форком llama.cpp с расширенными возможностями квантования. Это не самостоятельная языковая модель: она предназначена для работы вместе с целевой моделью Qwen3.5-35B-A3B в сервере инференса со speculative decoding. DFlash использует облегчённую block diffusion-модель, которая параллельно предлагает несколько токенов, после чего целевая модель проверяет их. Такой подход сохраняет распределение выходов целевой модели и может повышать пропускную способность генерации. Черновая модель обучалась на последовательностях длиной 40 000 токенов и использует sliding-window attention для улучшенной работы с длинным контекстом. В README не указаны точный размер GGUF-файлов, набор доступных квантований и поддерживаемые языки. Модель ориентирована на ускорение серверного вывода Qwen3.5-35B-A3B, включая задачи рассуждений, программирования и диалогов. Для работы требуется совместимый сервер, в частности SGLang с поддержкой DFlash; поддержка vLLM на момент описания находилась в разработке. В приведённых тестах на NVIDIA B200 DFlash показывал ускорение до 3,71 раза при одной параллельной задаче и до 2,89 раза при 32 задачах по сравнению с авторегрессионным запуском, однако фактические результаты зависят от оборудования, настроек и рабочей нагрузки. Указана лицензия Apache-2.0.

Это веса Multi-Token Prediction (MTP) для ускорения генерации методом speculative decoding в связке с совместимой целевой моделью Qwen3.5 4B. Репозиторий mlx-community содержит вынесенные веса черновой модели, подготовленные для MLX и mlx-vlm; архитектура указана как плотная qwen3_5_mtp, точность bf16, размер блока MTP — 2 токена. Модель предлагает кандидатные токены, которые затем проверяет целевая Qwen3.5 4B. Она предназначена для локального запуска совместимой модели через mlx-vlm и не является самостоятельной чат-моделью или генератором текста. Требуется поддержка Qwen/DeepSeek MTP в используемой версии mlx-vlm; самостоятельная генерация через обычные интерфейсы Transformers не ожидается. Лицензия репозитория — Apache-2.0; README отсылает к условиям использования базовой модели Qwen/Qwen3.5-4B.

guglxni/Qwen3.5-9B-abliterated-DFlash — компактная черновая модель DFlash для ускорения генерации текста целевой моделью lukey03/Qwen3.5-9B-abliterated-MLX-4bit. Это сообщественный файнтюн z-lab/Qwen3.5-9B-DFlash, настроенный на активациях аблитерированной целевой модели, чтобы улучшить принятие предложенных токенов. Модель основана на 5-слойном трансформере Qwen3 с 32 головами внимания и размером скрытого слоя 4096; за один проход она параллельно предлагает блок из 15 токенов, который затем проверяет целевая модель. Заявлена идентичность итогового распределения стандартной авторегрессионной генерации целевой модели. Модель предназначена для спекулятивного декодирования при генерации кода, ответов в чате и рассуждений. README сообщает об ускорении до 4,4 раза для метода DFlash в целом, однако приведённые измерения для этой конфигурации на Apple M4 показывают неодинаковый результат: около 1,4 раза для кода, около 1 раза для математических задач и снижение скорости для чата. Контекст целевой модели составляет 262144 токена. Лицензия — Apache-2.0.

Это выделенные веса MTP-драфтера из windowsxp811203/Qwen3.8-27B-Abliterated, подготовленные для ускоренного спекулятивного декодирования в mlx-vlm. Разработчик — windowsxp811203. Модель не работает самостоятельно: её нужно использовать вместе с совместимой целевой моделью Qwen3.8-27B-Abliterated MLX, которая предоставляет эмбеддинги токенов и LM head. Драфтер и целевая модель должны иметь одинаковое abliterated-поведение. Архитектура — qwen3_5_mtp, блок размера 3; репозиторий содержит 15 тензоров в формате bf16 и занимает около 810 МиБ. В тестах автора на M5 Max ускорение зависело от квантования целевой модели: для oQ4e указано 1,29×, для oQ8e — 1,94×, а для oQ6e ускорения не было. Спекулятивные токены проверяются распределением целевой модели, поэтому принятие черновиков меняет скорость, но не целевое распределение; при вычислениях bf16 жадная генерация может разойтись на близких по вероятности токенах. Модель предназначена для ускорения генерации текста целевой моделью, а не для самостоятельного общения или генерации. Унаследованная лицензия — Apache-2.0. README отмечает, что родительская модель не отказывает в запросах, поэтому её ответы требуют ответственного применения.

Jonas Loos разработал эту черновую модель DFlash 2 для Qwen3.8-27B: она дообучена на базе z-lab/Qwen3.8-27B-DFlash2 и предназначена для спекулятивного декодирования. Модель предлагает блоки до 32 следующих токенов, после чего целевая Qwen3.8-27B проверяет эти предложения. Она не является самостоятельной языковой моделью и должна использоваться вместе с совместимой целевой моделью и сервером генерации. Дообучение проводилось на ответах Qwen3.8-27B в режиме thinking для публичных запросов по общению, математике и программированию. По результатам автора, по сравнению с исходной черновой головой точность предложений на позициях 9–31 выросла примерно на 25%; на тестах GSM8K, диалогах в режиме thinking и HumanEval увеличилось число принимаемых токенов за проход. Проверена работа в MLX-движке qwen-spec на Apple Silicon; совместимость с SGLang и vLLM заявлена, но не проверена автором. Репозиторий содержит веса Safetensors, заявленный размер модели — 2,9 млрд параметров, контекст — до 262 144 токенов. Лицензия — Apache-2.0.

Qwen3.8-27B-DFlash2-EXL3-5.0bpw — это квантованный EXL3-драфтер для модели Qwen3.8-27B, опубликованный Mia-AiLab. Он основан на DFlash2 от inco.ai и z-lab и предназначен для ускорения спекулятивной генерации: модель формирует блоки предполагаемых токенов, которые затем проверяются целевой моделью Qwen3.8-27B. Это не самостоятельная языковая модель и не предназначена для работы без совместимого target-моделя и движка спекулятивного декодирования. Драфтер имеет размер около 1,93 млрд параметров и поддерживает генерацию блоков до 7 спекулятивных токенов при block_size 8. В архитектуре используются механизм выбора согласованного пути среди кандидатов и двухточечные динамические свёртки, снижающие деградацию качества на длинных блоках. Квантование EXL3 версии 1.4.2 с эффективной точностью 5.0 bpw уменьшает размер весов с 3,85 до 1,4 ГБ. В измерениях на DGX Spark/GB10 оно обеспечило более высокую скорость декодирования при сопоставимом принятии токенов по сравнению с исходной версией bf16. Модель особенно полезна для высокоскоростного текстового и программного декодирования с использованием Qwen3.8-27B. По данным README, в конкретной конфигурации прирост сквозной скорости составил около 33% относительно bf16-драфтера, а скорость на тесте HumanEval-style достигла 47,5 токена в секунду. Ограничения заключаются в том, что требуется специальная ветка exllamav3 с поддержкой DFlash2; стандартный exllamav3 не подходит. Драфтер также требует дополнительную память для весов и собственного KV-кэша и уступает встроенной MTP-голове целевой модели по компактности. Лицензия — Apache-2.0, унаследованная от исходного DFlash2. Репозиторий является квантованным производным для exllamav3; разработчиками архитектуры и обучения указаны z-lab и inco.ai.