Это экспериментальный промежуточный вариант Qwen2.5-7B-Instruct, подготовленный Davidmg0815. Из словаря токенизатора удалены токены, содержащие повторяющиеся буквенно-цифровые символы; размер словаря сокращён с 151 665 до 106 915 токенов, а эмбеддинги и LM-head обрезаны. Затем модель прошла 500 шагов восстановления с LoRA и полностью обучаемыми эмбеддингами на немецких текстах из pdelobelle/fineweb-german-edu-mt, используя около 16 млн токенов.

Модель предназначена для генерации текста и диалогов на основе текста. Она содержит 6,9 млрд параметров, использует плотную архитектуру Qwen2 с классом Qwen2ForCausalLM и поддерживает контекст до 32 768 токенов. Это базовый чекпойнт для Davidmg0815/qwen2.5-7b-spreizzaehler-v3-lora; обучение подсчёту к нему ещё не применялось.

Это исследовательский промежуточный чекпойнт, а не готовая специализированная модель. Токенизатор несовместим с оригинальным Qwen2.5-7B-Instruct, а качество несколько ниже оригинала. Лицензия — Apache-2.0.