توضیحات
ABSTRACT
Hierarchical classification is an effective approach to categorization of large-scale text data. We introduce a relaxed strategy into the traditional hierarchical classification method to improve the system performance. During the process of hierarchy structure construction, our method delays node judgment of the uncertain category until it can be classified clearly. This approach effectively alleviates the ‘block’ problem which transfers the classification error from the higher level to the lower level in the hierarchy structure. A new term weighting approach based on the Least Information Theory (LIT) is adopted for the hierarchy classification. It quantifies information in probability distribution changes and offers a new document representation model where the contribution of each term can be properly weighted. The experimental results show that the relaxation approach builds a more reasonable hierarchy and further improves classification performance. It also outperforms other classification methods such as SVM (Support VectorMachine) in terms of efficiency and the approach is more efficient for large-scale text classification tasks. Compared to the classic term weighting method TF∗IDF, LIT-based methods chieves significant improvement on the classification performance.
INTRODUCTION
The task of text classification is to assign a predefined category to a free text document. With more and more textual information available online, hierarchical organization of text documents is becoming increasingly important to manage the data. The research on automatic classification of documents to the categories in the hierarchy is needed. Most of the classifiers make the decision in the same flat space. Classification performance degrades quickly with larger scale data sets and more categories, especially in terms of the classification time. On the other hand, a hierarchical classification method organizes all of the categories into a tree like structure and trains a classifier on each node in the hierarchy. The classification process begins from the root of the tree until it reaches the leaf node which denotes the final category for the document. The hierarchies are represented as binary trees mostly. During the hierarchical classification process, the document to be classified starts from the root and the next direction is determined by each node classifier.
چکیده
طبقه بندی سلسله مراتبی یک رویکرد موثر برای طبقه بندی داده های متنی در مقیاس بزرگ است. ما یک استراتژی آرام به روش طبقه بندی سلسله مراتبی سنتی برای بهبود عملکرد سیستم معرفی می کنیم. در طول فرایند ساختار ساختار سلسله مراتبی، روش ما تاخیر در قضاوت گره از رده نامشخص را تا زمانیکه به طور واضح طبقه بندی می شود، به تاخیر می اندازد. این رویکرد به طور موثر مشکلات “بلوک” را حل می کند که خطای طبقه بندی را از سطح بالاتر به سطح پایین تر در ساختار سلسله مراتبی انتقال می دهد. یک رویکرد نوسان براساس معیار کمترین اطلاعات (LIT) برای طبقه بندی سلسله مراتبی اتخاذ می شود. این اطلاعات را در تغییرات توزیع احتمال محاسبه می کند و یک مدل ارائه جدید سند ارائه می دهد که در آن سهم هر اصطلاح می تواند به درستی وزن باشد. نتایج تجربی نشان می دهد که روش آرام سازی یک سلسله مراتب مناسب تر را ایجاد می کند و عملکرد طبقه بندی را بهبود می بخشد. همچنین از روش های طبقه بندی دیگر مانند SVM (Support VectorMachine) از نظر بهره وری بهتر عمل می کند و روش برای کارهای طبقه بندی متن های بزرگ کارآمدتر است. در مقایسه با روش وزن گذاری کلاسیک TF * IDF، روش های مبتنی بر LIT بهبود قابل توجهی در عملکرد طبقه بندی دارد.
مقدمه
وظیفه طبقه بندی متن این است که یک دسته از پیش تعریف شده را به یک سند متن آزاد اختصاص دهیم. با اطلاعات بیشتر و متنوعی که در اینترنت موجود هستند، سازماندهی سلسله مراتبی اسناد متنی برای مدیریت داده ها به طور فزاینده ای مهم است. تحقیق در مورد طبقه بندی خودکار اسناد به دسته های سلسله مراتبی مورد نیاز است. اکثر طبقه بندی ها، تصمیم گیری را در همان فضای مسطح انجام می دهند. عملکرد طبقه بندی به سرعت با مجموعه داده های مقیاس بزرگتر و مقوله های بیشتر، به ویژه از نظر زمان طبقه بندی، کاهش می یابد. از سوی دیگر، یک روش طبقه بندی سلسله مراتبی، تمام دسته ها را به یک درخت مانند ساختار سازماندهی می کند و یک طبقه بندی در هر گره در سلسله مراتب را آموزش می دهد. فرآیند طبقه بندی از ریشه درخت شروع می شود تا به گره برگ برسد که طبقه بندی نهایی برای سند را نشان می دهد. سلسله مراتبها به طور عمده به عنوان درختهای باینری معرفی می شوند. در طول فرایند طبقه بندی سلسله مراتبی، سند طبقه بندی شده از ریشه شروع می شود و جهت بعدی توسط هر یک از طبقه بندی ها تعیین می شود.
Year: 2018
Publisher : ELSEVIER
By : Yongping Du , Jingxuan Liu , Weimao Ke , Xuemei Gong
File Information: English Language/ 8 Page / size: 472 MB
سال : 1396
ناشر : ELSEVIER
کاری از : Yongping Du، Jingxuan لیو، Weimao Ke، Xuemei گونگ
اطلاعات فایل : زبان انگلیسی / 8 صفحه / حجم : KB 472
نقد و بررسی‌ها
هنوز بررسی‌ای ثبت نشده است.