distilbert-cross-segment-document-chunking
BlueOrangeDigital·Классификация текста
Дообученная англоязычная DistilBERT классифицирует соседние предложения, чтобы находить границы разделов и разбивать документы на фрагменты.
Подходит для: разбиение статей Википедии на тематические фрагменты · поиск границ между разделами документа · сегментация англоязычных текстов по смене темы
Загрузки на Hugging Face · 39Лайки · 7Контекст · 512 токеновВыход на Hugging Face · 14 фев 2024