کتاب داده کاوی مفاهیم و کاربردها

فهرست
عنوان صفحه
مقدمه 9
فصل 1 11
مفاهیم داده کاوی 11
تجزیه‌وتحلیل داده 14
یافتن الگو در داده های کیفی 15
تحلیل داده در تحقیقات کمی 15
اهمیت داده در دنیای امروز 16
انواع داده 17
داده خام 17
ذخیره سازی داده 18
چرخه پردازش داده 19
اطلاعات 20
مديريت ذخيره سازی و دستيابی اطلاعات 21
داده کاوی (Data Mining) 23
تاريخچه داده کاوي 23
کشف خودکار الگوهای پیش‌تر ناشناخته 27
تفاوت داده کاوی و علم داده 28
داده کاوی در مقابل علم داده 28
زندگی پیش از پیدایش داده کاوی 29
زندگی پس از پیدایش داده کاوی 30
مفاهيم پايه در داده کاوي 30
تعريف داده کاوي 30
مراحل داده کاوی 33
انواع تکنیک های داده کاوی 38
روش های داده کاوی 46
تقطيع پايگاه داده ها 51
يك شبكه عصبي با يك لايه پنهان 59
الگوريتم هاي ژنتيك 61
حفاظت از حریم شخصی در سیستم‌های داده‌كاوی 89
فصل 2 93
کاربردهای داده کاوی 93
داده کاوی و مدیریت موسسات دانشگاهی 100
داده کاوی و مدیریت بهینه وب سایت ها 101
داده‌كاوي و مديريت دانش 102
کاربردهای داده کاوی در صنایع مختلف 102
حفاظت از محیط زیست و منابع طبیعی و سیاره زمین 103
تامین انواع انرژی برای خانه‌ها و ساختمان‌ها و صنایع 103
كاربرد داده‌كاوي در آموزش عالي 107
فصل 3 109
وب کاوی 109
وب کاوي و استخراج اطلاعات 114
مراحل وب کاوی 115
انواع وب کاوی 116
مشكلات و محدوديت هاي وب كاوي در سايت هاي فارسي زبان 122
کاربردهای وب کاوی 124
فصل 4 129
داده کاوی در شهر الکترونیک 129
زمينه دادهکاوي در شهر الکترونيک 132
کاربردهاي داده کاوي در شهر الکترونيک 134
کشف علايق و انگيزه هاي شهروندان و توليد سرويس هاي شخصي سازي 135
تجديد ساختار سايت وب شهر و افزايش کارايي سيستم 136
تقويت برنامه ريزي هاي دولت و ترويج نوآوري 137
بهبود تحليل ها و تصميمات دولت 137
چالش هاي داده کاوي در شهر الکترونيک 138
كيفيت داده ها 138
قابليت انتقال داده ها و استفاده از اطلاعات 139
چالش برآورد مدل هاي دادهکاوي 139
دقت نتايج متدهاي داده كاوي 141
پيچيدگي و هزينه زماني 142
محرمانگي داده ها 143
آینده داده کاوی 143
نتيجه ¬گيري 145
منابع و مآخذ 147

کشف خودکار الگوهای پیش‌تر ناشناخته

از ابزارهای داده‌کاوی برای بررسی پایگاه‌های داده استفاده می‌شود. همچنین، برای شناسایی الگوهای از پیش ناشناخته نیز قابل بهره‌برداری است. یک مثال خیلی خوب از کاوش الگوها، تحلیل داده‌های فروش خرده‌فروشی‌ها است. این کار با هدف شناسایی محصولات غیر مرتبطی که معمولا با هم خریداری می‌شوند انجام می‌شود. همچنین، مسائل کاوش الگوی دیگری نیز وجود دارند که از جمله آن‌ها می‌توان به شناسایی تراکنش‌های کلاهبرداری در کارت‌های اعتباری اشاره کرد. در چنین مواردی، الگوهای داده ناشناخته و جدید، می‌توانند خبر از وقوع سرقت اطلاعات کارت اعتباری و دیگر انواع کلاهبرداری بدهند.

علم داده

دیتا ساینس (Data Science) یا علم داده، یک حوزه شغلی و آکادمیک بین‌رشته‌ای است که از ترکیب ریاضیات، آمار و احتمال، محاسبات علمی، برنامه ‌نویسی، تحلیل، هوش مصنوعی، الگوریتم‌ها و سیستم‌ها و … تشکیل شده است. این حوزه در دنیا، به عنوان یکی از حوزه‌های پرطرفدار و آینده‌دار برای متخصصان شناخته شده است.

در سال 1962، زیربنای علم داده با عنوان تحلیل داده (Data Analysis) به جامعه مهندسی و تحلیل معرفی شد؛ اما تا اواخر دهه 90 میلادی، رسما نام‌ دیتا ساینس را به خود نگرفته بود. هدف اصلی دیتا ساینس، تجزیه و تحلیل داده‌های کسب و کار و استخراج اطلاعات مفید و بینش‌های مخفی در داده‌ها، برای کمک به تصمیم‌گیری و برنامه‌ریزی‌های کلان سازمان است.

این حوزه از داده و روش‌های مختلف پردازش داده استفاده می‌کند تا به دانش عمیق در یک موضوع برسد. Data Science یک حوزه بسیار جامع است که شامل بسیاری از حوزه‌های علمی و شغلی دیگر هم می‌شود؛ مانند هوش مصنوعی (AI)، یادگیری ماشین (Machine Learning)، داده کاوی (دیتا ماینینگ)، هوش تجاری (BI) و …

تفاوت داده کاوی و علم داده

داده کاوی یک فرآیند گسترده و متنوع است که اجزای مختلف زیادی دارد؛ به طوری که بعضی از این اجزا با خود Data Mining اشتباه گرفته می‌شوند. برای مثال، آمار یک بخش زیرمجموعه از فرآیند کلی Data Mining محسوب می‌شود. علاوه بر این، Data Mining و یادگیری ماشین (machine learning) هر دو تحت عنوان کلی علم داده (data science) قرار می‌گیرند و اگرچه شباهت‌هایی هم با هم دارند، اما هر فرآیند به روشی متفاوت با داده‌ها کار می‌کند. در بررسی تفاوت علم داده و داده کاوی باید ابعاد مختلفی از ماهیت گرفته تا اهداف را بررسی کرد. علم داده یک رشته تحصیلی و داده کاوی یک تکنیک و بخشی از فرآیند KDD است. اکنون این دو مفهوم را در مقابل یکدیگر قرار داده تا تفاوت‌های میان آنها بهتر درک شود.

داده کاوی در مقابل علم داده

بزرگترین تفاوت بین دیتا ساینس و دیتاماینینگ در شرایط آنها نهفته است. در حالی که علم داده، حوزه وسیعی شامل جمع‌آوری داده‌ها، تجزیه و تحلیل داده‌ها و استخراج بینش‌های عملی از آن را در برمی‌گیرد؛ دیتاماینینگ در درجه اول شامل یافتن اطلاعات مفید در یک مجموعه داده و استفاده از آن برای شناسایی الگوهای پنهان است.

تفاوت بزرگ و مهم دیگر میان علم داده و دیتاماینینگ در کل و جزء بودن این دو نشان داده می‌شود. علم داده یک زمینه چند رشته‌ای شامل آمار، علوم اجتماعی، پردازش زبان طبیعی (NLP)، تجسم داده‌ها و داده کاوی است. بدین ترتیب داده کاوی به‌عنوان زیرمجموعه علم داده، بخشی از آن را تشکیل می‌دهد.

با توجه به جزئی از کل بودن داده کاوی، نقش متخصص داده کاوی بسیار کوچکتر از نقش و تخصص‌های یک دانشمند داده است. به این معنی که یک دانشمند داده را می‌توان تا حدی ترکیبی از محقق هوش مصنوعی، مهندس یادگیری عمیق، تحلیلگر داده در AI و مهندسی یادگیری ماشین دانست؛ اما متخصص دیتاماینینگ لزوماً به تمام این نقش‌ها مسلط نیست و نمی‌تواند تمام نقش‌های یک متخصص داده را انجام دهد.

تفاوت دیگر میان دیتا ساینس و دیتا ماینینگ در نوع داده‌های مورد استفاده در آنهاست. علم داده با انواع داده‌ها اعم از ساختاریافته، بدون ساختار و نیمه ساختار یافته سروکار دارد؛ اما دیتاماینینگ بیشتر بر روی داده‌های ساخت یافته متمرکز است و بر روی این دسته از داده‌ها کار می‌کند.

علم داده اساساً با اهداف عملی اجرا می‌شود. در حالی که اولویت دیتاماینینگ، اهداف تجاری است.

زندگی پیش از پیدایش داده کاوی

پیش از اینکه دانشمندان با علم نوین داده کاوی و کاربردهای داده کاوی برای زندگی‌های پیچیده‌ی امروزی آشنا شوند، راهکارها و روش‌های گوناگونی برای تحلیل و بررسی الگوها استفاده می‌شد. شاید بتوان قضیه‌ی بیز (Bayes’ theorem)‌ را اولین متد شناسایی الگوهای گوناگون در جهان دانست که در دهه‌‌ی ۱۷۰۰ به جهان معرفی شد.

پس از آن روش‌هایی همچون تجزیه و تحلیل رگرسیون (دهه‌ی ۱۸۰۰)، تجزیه و تحلیل خوشه‌‌ای (دهه‌ی ۱۹۵۰)، درخت تصمیم‌گیری و قواعد تصمیم‌گیری (دهه‌ي ۱۹۶۰) و همچنین ماشین‌های برداری (دهه‌ی ۱۹۹۰)‌ وظیفه‌‌ی رمزگشایی از الگوهای رفتاری اجزاء جهان را بر عهده داشتند.

زندگی پس از پیدایش داده کاوی

روش‌های تجزیه و تحلیل الگوها با گذرزمان دستخوش تغییرات بسیار زیادی شدند و با گسترش فناوری‌های رایانه‌‌ای شکل بسیار پیچیده‌تر و جامع‌تری به خود گرفتند؛ اما با وجود تمامی این پیشرفت‌ها، هنوز یک مشکل اساسی وجود داشت و این مشکل چیزی نبود جز وجود الگوهای پنهانی. با روی کار آمدن روش دیتا ماینینگ در دهه‌ی ۱۹۹۰، امکان جدیدتری در اختیار بشر قرار گرفت که به او اجازه می‌داد با بررسی طیف وسیعی از الگوهای رفتاری یک پدیده و تجزیه و تحلیل تمامی داده‌های مرتبط با آن، به الگوهای پنهانی رفتار موضوع مورد بررسی، دست پیدا کند. داده کاوی برای اولین بار توسط شرکت‌‌های خرده فروشی و انجمن‌های مالی به کار گرفته شد. این شرکت‌ها از داده کاوی برای تحلیل داده‌ها و یافتن گرایش جدید بازار استفاده می‌کردند تا مشتریان بیشتری را به‌سوی خود جذب کنند. با گسترش کاربردهای دیتا ماینینگ در زندگی بشر بازارها و کسب‌وکارها رونق بیشتری پیدا کردند

مفاهيم پايه در داده کاوي

در داده کاوي معمولا به کشف الگوهاي مفيد از ميان داده ها اشاره مي شود. منظور از الگوي مفيد، مدلي در داده ها است که ارتباط ميان يک زير مجموعه از داده ها را توصيف مي کند و معتبر، ساده، قابل فهم و جديد است.