چكيده:
امروزه با گسترش سيستم هاي پايگاهي و حجم بالاي داده ها ي ذخيره شده در اين سيستم ها ،
نياز به ابزاري است تا بتوان داده هاي ذخيره شده را پردازش كردواطلاعات حاصل از اين پردازش
را در اختيار كاربران قرار داد .
و ابزارهاي گوناگون گزارش گيري معمولي ، مي توان SQL با استفاده از پرسش هاي ساده در
اطلاعاتي را در اختيار كاربران قرار داد تا بتوانند به نتيجه گيري در مورد داده ها و روابط منطقي
ميان آنها بپردازند اما وقتي كه حجم داده ها بالا باشد ، كاربران هر چند زبر دست و با تجربه باشند
نمي توانند الگوهاي مفيد را در ميان حجم انبوه داده ها تشخيص دهند و يا اگر قادر به اين كار هم
با شند ، هزينه عمليات از نظر نيروي انساني و مادي بسيار بالا است .
از سوي ديگر كاربران معمولا فرضيه اي را مطرح مي كنند و سپس بر اساس گزارشات مشاهده
شده به اثبات يا رد فرضيه مي پردازند ، در حالي كه امروزه نياز به روشهايي است كه اصطلاحا به
كشف دانش بپردازند يعني با كمترين دخالت كاربر و به صورت خودكار الگوها و رابطه هاي
منطقي را بيان نمايند .
داده كاوي يكي از مهمترين اين روشها است كه به وسيله آن الگوهاي مفيد در داده ها با حداقل
دخالت كاربران شناخته مي شوند و اطلاعاتي را در اختيار كاربران و تحليل گران قرار مي دهند تا
براساس آنها تصميمات مهم و حياتي در سازمانها اتخاذ شوند .
در داده كاوي از بخشي از علم آمار به نام تحليل اكتشافي داده ها استفاده مي شود كه در آن بر
كشف اطلاعات نهفته و ناشناخته از درون حجم انبوه داده ها تاكيد مي شود . علاوه بر اين داده
كاوي با هوش مصنوعي و يادگيري ماشين نيز ارتباط تنگاتنگي دارد ، بنابراين مي توان گفت در
5
داده كاوي تئوريهاي پايگاه داده ها ، هوش مصنوعي ، يادگيري ماشين و علم آمار را در هم مي
آميزند تا زمينه كاربردي فراهم شود .
بايد توجه داشت كه اصطلاح داده كاوي زماني به كار برده مي شود كه با حجم بزرگي از داده ها ،
در حد مگا يا ترابايت ، مواجه باشيم . در تمامي منابع داده كاوي بر اين مطلب تاكيد شده است .
هر چه حجم داده ها بيشتر و روابط ميان آنها پيچيده تر باشد دسترسي به اطلاعات نهفته در ميان
داده ها مشكلتر مي شود و نقش داده كاوي به عنوان يكي از روشهاي كشف دانش ، روشن تر مي
گردد .
6
فهرست مطالب
مفاهيم و كاربرد هاي داده كاوي .......................................................................................................
مفاهيم و كاربرد هاي داده كاوي .......................................................................................................
چكيده: ........................................................................................................................................... 4
مقدمه: . .......................................................................................................................................... 11
فصل اول – مفاهيم داده كاوي . ..................................................................................................... 14
مديريت ذخيره سازي و دستيابي اطلاعات ............................................................................... 14
ساختار بانك اطلاعاتي سازمان: ................................................................................................ 15
16................................................................................................ (Data Mining) : داده كاوي
مفاهيم پايه در داده كاوي ......................................................................................................... 18
تعريف داده كاوي .................................................................................................................... 18
تاريخچه داده كاوي .................................................................................................................. 19
مراحل فرايند كشف دانش از پايگاه داده ها . ............................................................................. 21
انبارش داده ها . ......................................................................................................................... 22
انتخاب داده ها ......................................................................................................................... 22
تبديل داده ها............................................................................................................................ 23
كاوش در داده ها . ..................................................................................................................... 23
تفسير نتيجه .............................................................................................................................. 24
عملياتهاي داده كاوي . ............................................................................................................... 24
7
مدلسازي پيشگويي كننده ......................................................................................................... 25
تقطيع پايگاه داده ها ................................................................................................................. 26
تحليل پيوند ............................................................................................................................. 26
تشخيص انحراف ..................................................................................................................... 27
الگوريتم هاي داده كاوي .......................................................................................................... 27
شبكه هاي عصبي ..................................................................................................................... 28
درخت هاي انتخاب ................................................................................................................. 29
استنتاج قانون . ........................................................................................................................... 30
الگوريتمهاي ژنتيك .................................................................................................................. 31
مدل فرآيند دو سويه ................................................................................................................ 31
تعريف مساله . ........................................................................................................................... 32
ساختن يك پايگاه داده داده كاوي ............................................................................................ 33
جستجوي داده . ......................................................................................................................... 34
آماده سازي داده براي مدل سازي . ............................................................................................ 35
ساختن مدل داده كاوي ............................................................................................................ 35
تائيد اعتبار ساده ....................................................................................................................... 36
ارزيابي و تفسير؛ تاييد اعتبار مدل ............................................................................................ 36
ايجاد معماري مدل و نتايج . ...................................................................................................... 36
سابقه داده كاوي ....................................................................................................................... 38
مفهوم داده كاوي ...................................................................................................................... 40
8
نرمافزارهاي دادهكاوي .............................................................................................................. 42
درك قلمرو .............................................................................................................................. 44
استفاده از نتايج . ........................................................................................................................ 44
اكتشاف : .................................................................................................................................. 46
مدل پيش بيني : ....................................................................................................................... 46
تحليلهاي دادگاهي : ................................................................................................................. 46
52...................................................... DM Commercial Tools ابزارهاي تجاري داده كاوي
منابع اطلاعاتي مورد استفاده ..................................................................................................... 53
انبار داده ................................................................................................................................... 54
پيشرفت در تكنولوژيهاي داده پردازي ...................................................................................... 54
ديتا مارت ................................................................................................................................. 55
انبار داده ها .............................................................................................................................. 56
عناصر داده كاوي ..................................................................................................................... 58
فنون داده كاوي ........................................................................................................................ 59
ابزارهاي پرس و جو: ............................................................................................................... 60
فنون آماري:.............................................................................................................................. 60
مصور سازي: . ........................................................................................................................... 60
پردازش تحليلي پيوسته: ........................................................................................................... 61
يادگيري مبتني بر مورد: ............................................................................................................ 61
درختان تصميم گيري: .............................................................................................................. 61
9
قوانين وابستگي: ....................................................................................................................... 61
شبكه هاي عصبي : . .................................................................................................................. 62
الگوريتم ژنتيكي: ...................................................................................................................... 62
محدوديت هاي داده كاوي ....................................................................................................... 64
حفاظت از حريم شخصي در سيستمهاي دادهكاوي ................................................................. 64
فصل دوم : كاربردهاي داده كاوي ................................................................................................. 67
كاربرد داده كاوي در كسب و كار هوشمند بانك ...................................................................... 68
داده كاوي درمديريت ارتباط بامشتري . ..................................................................................... 69
كاربردهاي داده كاوي در كتابخانه ها و محيط هاي دانشگاهي ................................................. 71
كاربردهاي داده كاوي در كتابخانه ها . ....................................................................................... 71
داده كاوي و مديريت موسسات دانشگاهي . .............................................................................. 73
كاربردهاي داده كاوي در موسسات دانشگاهي ......................................................................... 73
داده كاوي و مديريت بهينه وب سايت ها ................................................................................ 74
دادهكاوي و مديريت دانش ....................................................................................................... 75
كاربرد دادهكاوي در آموزش عالي ............................................................................................ 76
فصل سوم – بررسي موردي 1: وب كاوي .................................................................................... 78
معماري وب كاوي ................................................................................................................... 78
مشكلات ومحدوديت هاي وب كاوي در سايت هاي فارسي زبان . .......................................... 84
محتوا كاوي وب ...................................................................................................................... 85
فصل چهارم – بررسي موردي 2 : داده كاوي در شهر الكترونيك ................................................. 87
10
زمينه دادهكاوي در شهر الكترونيك ......................................................................................... 90
كاربردهاي دادهكاوي در شهر الكترونيك ................................................................................ 91
كشف علايق و انگيزههاي شهروندان و توليد سرويسهاي شخصيسازي . .................................. 92
تجديد ساختار سايت وب شهر و افزايش كارايي سيستم ......................................................... 93
تقويت برنامهريزيهاي دولت و ترويج نوآوري.......................................................................... 95
بهبود تحليلها و تصميمات دولت ............................................................................................. 96
چالشهاي دادهكاوي در شهر الكترونيك . .................................................................................. 96
كيفيت دادهها ........................................................................................................................... 97
قابليت انتقال دادهها و استفاده از اطلاعات ............................................................................... 97
چالش برآورد مدلهاي دادهكاوي . ............................................................................................. 98
دقت نتايج متدهاي دادهكاوي ............................................................................................... 100
پيچيدگي و هزينه زماني ........................................................................................................ 102
محرمانگي دادهها .................................................................................................................. 102
نتيجه گيري . ............................................................................................................................... 104
مراجع و ماخذ فارسي . ............................................................................................................... 106
مراجع و ماخذ لاتين و سايتهاي اينترنتي . ................................................................................... 107
11
مقدمه:
با گسترش فناوري اطلاعات و ارتباطات 1 درجهان و ورود سريع آن به زندگي روزمره مردم مسائل
و ضرورتهاي تازهاي بهوجودآمدهاست. امروزه انسان توسعه يافته كسي است كه به اطلاعات
دسترسي داشتهباشد و دسترسي به اطلاعات نه يك ضرورت،كه يك قدرت محسوبميشود.
دراينميان شهرها به عنوان مراكز قدرت انساني و تمدنهاي بشري بيش از پيش اهميتيافتهاند. به
اعتقاد الوين تافلر، مردم كره زمين تا به امروز سه موج اساسي تحول راپشت سرگذاشته اند :
موج اول، موج انقلاب كشاوزي است كه زمان آغاز آن بركسي مشخص نيست.
موج دوم، انقلاب صنعتي است كه به دنبال اختراع ماشين بخار در سال 1764 آغاز شد.
موج سوم يا انقلاب انفورماتيك است كه ازسال 1946 كه بشر به ساخت كامپيوتر نائل آمده آغاز
گشتهاست.
اگر در موج دوم سختافزارها به كمك انسانها ميآمدند، درموج سوم اين نرمافزارها هستند كه به
خدمت بشر ميشتابند و تفكرات و تصورات آدمي را به شكل كدهاي صفر و يك و با كمك امواج
ماهوارهاي مبادله ميكنند.
در موج سوم، انسان هر روز كه بيشتر ياد ميگيرد، بيشترمي فهمدكه با حقيقت فاصله دارد. موج
سوم راموج خردورزي نيز لقب داده اند زيرا در اين عرصهها، انسانها ديگر فرصت ندارند زياد با
هم صحبتكنند، همه چيز تعريف شده و براي هر تعريف، يك كد درنظرگرفته شده است.
از سوي ديگر در دنياي به شدت رقابتي امروز، اطلاعات بعنوان يكي از فاكتورهاي توليدي مهم
پديدار شده است. در نتيجه تلاش براي استخراج اطلاعات از داده ها توجه بسياري از افراد دخيل
1 Information and Communication Technology(ICT)
12
در
:: برچسب‌ها:
مفاهيم ,
و ,
كاربرد ,
هاي ,
داده ,
كاوي ,
پروژه ,
دوره ,
:: بازدید از این مطلب : 79
|
امتیاز مطلب : 0
|
تعداد امتیازدهندگان : 0
|
مجموع امتیاز : 0
عضو شوید
عضویت سریع
آمار مطالب
آمار بازدید
