ضرورت ها، پیش نیازها، چالشها و مراحل استقرار هوش تجاری درسازمانها

 

ضرورت ها، پیش نیازها، چالشها و مراحل  استقرار هوش تجاری درسازمانها

سید محمود شجاعی کیاسری، دانشجوی کارشناسی ارشد مدیریت فناوری اطلاعات دانشگاه شهید بهشتی [1]

علیرضا طالب پور، عضو هيئت علمی و استاد دانشگاه شهید بهشتی[2]

 

چكيده

مدیران شرکت های خصوصی و سازمان های دولتی برای استقرار هوش تجاری اعلام نیاز میکنند، چراکه از طرق مختلف با ابزارها و فواید استقرار هوش تجاری در سازمانشان آگاه  گشته اند و درک خوبی از میزان تاثیر این سیستم ها بر رشد، بقاء، مدیریت بیهینه و دستیابی به اهداف سازمانی و بدست آوردن مزیت های رقابتی در بازار متلاطم موجود سازمان بدست آورده اند. اما بررسی وشناخت مزایای استقرار هوش تجاری در سازمان به تنهایی نمیتوند منجر به استقرار موفق و استفاده کامل از هوش تجاری در سازمان ها شود و مطالعات هنوز نشان دهنده ضعف هایی در شناخت،استقرار و استفاده صحیح از هوش تجاری در سازمان ها است.آنچه در این مقاله به بررسی آن پرداخته شده است، بررسی ضرورت های موجود برای استقرار هوش تجاری، پیش نیازهای استقرار هوش تجاری از بعد فنی و زیرساخت ها و از بُعد نیروی انسانی متخصص و روش سنجش میزان آمادگی سازمان برای استقرار هوش تجاری، بررسی چالش های پیش روی سازمان ها دراستقرار هوش تجاری و آشنایی با مراحل استقرار هوش تجاری در سازمان هاست. نتایج این تحقیق میتواند اطلاعات بسیار مفیدی را دراختیار تصمیم گیرندگان و مدیران فناوری اطلاعات در سازمان ها قرار دهد تا شناخت کامل تری نسبت به ابعاد هوش تجاری پیدا کنند تا هزینه ها و احتمال شکست در استقرار هوش تجاری را کاهش دهند. در بخش پایانی، به بررسی دلایل عمده شکست پروژه های هوش تجاری پرداخته شده است.

كلمات كليدي: هوش تجاری ، تصمیم گیری ، داده کاوی.

 

 

1.       مقدمه

در پاسخ به این سوال که هوش تجاری یا هوش رقابتی یا هوش سازمانی یا هوش کسب و کار، از چه طریقی بدست می آید؟ و چگونه یک سازمان میتواند به سمت هوشمندی پیش برود تحقیقات و پژوهش های خوبی صورت گرفته است و ابزارهای بسیار متنوع و مناسبی برای این منظور خلق شده و توسعه یافته اند، اما پرسشی که همواره در این زمینه مطرح بوده است، در خصوص لزوم بکارگیری این ابزارها در عصر فناوری اطلاعات، زیرساخت های لازم برای بهر برداری لازم از این ابزارها و روش درست استفاده از آنهاست. فناوری اطلاعات ابزارهای مختلفی را در عرصه های مختلف در اختیار ذینفعان قرار داده است و برای استفاده از این ابزارها، لازم است که ابتدا یک همسویی و مشارکت استراتژیک و موثر میان کسب و کار و فناوری اطلاعات در سازمان شکل بگیرد تا از این رهگذار، فناوری اطلاعات وارد چرخه مدیریت و بهبود کسب و کار گردد.

این همسویی و مشارکت منجر به تغییر فرهنگ سازمانی، و بهبود روند اجرای فرآیند های حیاتی سازمان ها میگردد و در نهایت منجر به ایجاد سازمانی هوشمند و یادگیرنده میگردد.[4]

هوش تجاری از آنجایی که مستقیما با داده ها و اطلاعات سروکار دارد و ویژگی اصلی آن کشف و استخراج و نمایش دانش آشکار  و پنهان موجود در این داده ها و اطلاعات ظاهرا قدیمی و زائد است، نیاز به ایجاد بستر و زیرساخت فنی دارد. زیر ساختی که بتواند داده های موجود در زیر سیستم های جزیره ای یک سازمان را که با چهارچوب ها و ابزارهای متفاوتی توسعه یافته اند، تجمیع و یکپارچه کند وزمینه بروز هوشمندی را در سازمان مهیا کند.

اما برای حرکت به سمت ایجاد زیر ساخت ها، نیاز به ارزیابی آمادگی سازمان برای بکار گیری این ابزارها وجود دارد. متاسفانه بسیاری از شکست هایی که در پروژه های استقرار هوش تجاری در سازمان ها مشاهده شده است، بدلیل عدم وجود آمادگی سازمانی برای پذیرش و اعمال تغییرات مورد نیاز در سازمان هاست.[6] حتی در برخی موارد ارزیابی آمادگی سازمان، میتواند منجر به اخذ تصمیماتی گردد که نه تنها باعث تسهیل روند استقرار هوش تجاری در سازمان گردد، بلکه باعث اثربخشی بیشتر آن نیز باشد.

به عنوان مثال استقرار نظام مدیریت دانش و تلاش برای به حرکت درآوردن چرخه خلق دانش و جمع آوری دانش پنهان سازمان  که امروزه بزرگترین سرمایه سازمان هاست، و ایجاد فرآیند تبدیل آن به دانش صریح و بالعکس و ترکیب دانش ها با یکدیگر که منجر به بروز خلاقیت و ایجاد حکمت در سازمان میگردد، میتواند زیر بنای محکمی برای استقرار هوش تجاری باشد. در واقع میتوان گفت استفاده کامل از ابزارهای هوش تجاری، در گرو استقرار مدیریت دانش در سازمان هاست و تحقق مدیریت دانش، متضمن هوشمندی سازمان هاست.[7]

2.     ضرورت های استقرار هوش تجاری در سازمان ها

ضرورت استقرار هوش تجاری در سازمان ها در عصر دانایی و در جامعه اطلاعاتی از ابعاد مختلف قابل بررسی است، از دیدگاه مدیریت ارشد استفاده از ابزارهای هوش تجاری برای تحلیل وضعیت جاری سازمان، تعیین اهداف کوتاه مدت، بلند مدت و کنترل شاخص های عملکرد ضروری بنظر میرسد ، از دیدگاه مدیریت اجرایی برای اتخاذ تصمیمات در فضاهای عدم اطمینان و ابهام و پیش بینی و تخمین نتایج اتخاذ تصمیمات،  از دیدگاه مدیریت مالی برای رصد کردن و کنترل گزارش های مالی و شاخص های عملکردی، از دیدگاه مدیریت زنجیره تامین برای کنترل و بهبود روابط با تامین کنندگان و شرکاء سازمان، از دیدگاه مدیریت ارتباط با مشتریان برای شناسایی، دسته بندی، سیاستگذاری و بهبود ارتباط با مشتریان سازمان و...

با توجه به تحقیقات انجام شده، ضرورتهای استفاده از هوش تجاری در سازمان ها را میتوان بصورت زیر دسته بندی کرد:[1]

１. مهمترين نياز يك مدير، داشتن اطلاعات دقيق براي اتخاذ تصميم درست است عوامل زير در تصميم گيري استراتژيك يك سازمان مؤثر مي باشند:

-       دسترسي، جمع آوري و پالايش داده ها و اطلاعات مورد نياز.

-       پردازش، تحليل و نتيجه گيري بر اساس دانش.

-       اعمال نتيجه و نظارت بر پيامدهاي اجراي آن.

سازمان هايي با مديريت قديمي كه از هوش سازماني استفاده نمي كنند در تصميم گيري ها معمولاً با مشكلات مختلفي روبرو هستند از جمله داشتن داده هاي حجيم، پيچيدگي تحصيل آنها و عدم توانايي پيگيري فرآيندها و نتايج تصميمات گرفته شده و لذا تصميمات اشتباه در اين سازمان ها نتايج خود را به طور روشن نشان نمي دهد و يا ديرهنگام نشان مي دهد اين سازمانها نگاهي جامع از وضعيت جاري و آينده خود ندارند.

２.  ضرورت ديگر استفاده از هوش سازماني، نياز به مديريت دانش در سازمانها است . سازمانها نياز به مديريت هوشمند اسناد و مدارك خود دارند همچنين داده های مؤسسات تحقيقاتي كه به منزلة دارايي اصلي آن سازمانها مي باشند نياز به مديريت دارد. هوش سازماني باعث مديريت بهتر اين داده ها مي شود. از آنجا كه سازمانها نياز دارند خودشان را با دانش روز تطبيق داده و همواره بروز باشند و خود را بر اساس شرايط مخاطبين و بازار و شرايط جديد خارج از سازمان هماهنگ سازند بحث آموزش مستمر كاركنان و حافظه سازماني در نگهداري و استفاده از آموزش هاي سازماني بسيار پر اهميت است و هوش سازماني به عنوان يك ضرورت در اينجا مطرح مي شود و باعث افزايش بهره وري آموزشي و حفظ دانش سازمان مي شود.[8] 

3.    پیش نیازهای استقرار هوش تجاری در سازمان ها

اغلب مدیران و تصمیم گیرندگان فناوری اطلاعات، هنوز معیار درستی برای دستیابی به تصمیم درست و بهنگام استقرار هوش تجاری در سازمانشان ندارند. دلیل اصلی این مشکل، عدم اطلاع کافی آنها از پیش نیازهای استقرار هوش تجاری در سازمانهاست. پاسخ به این سوال که "پیاده سازی هوش تجاری در سازمان ما مستلزم وجود چه پیش نیازهایی است؟ چه امکانات و زیر ساخت های فناورانه ای مورد نیاز است؟ و چه میزان دانش و تخصص  نیروی انسانی متخصص لازم  و کافی خواهد بود؟ فرهنگ سازمانی متناسب برای استقرار موفق هوش تجاری در سازمان کدام است ؟با چه ابزارها و تکنیک هایی میتوان میزان آمادگی سازمان را برای استقرار موفق هوش تجاری اندازه گرفت؟ و در مجموع سیاست و رویکرد اصلی سازمان نسبت به استقرار هوش تجاری باید به چه صورت باشد؟" اگر پاسخی برای این پرسش ها بدست آید، مدیران میتوانند تصمیات درست تر و منطقی تری اتخاذ کنند و به این ترتیب ضریب شکست پروژه های استقرار هوش تجاری در سازمان ها پایین خواهد آمد.

استقرار سیستم های هوش تجاری، برای سازمان هایی مناسب است که در آنها فرهنگ کاری و فرآیندهای کاری با اطلاعات و فناوری اطلاعات هماهنگی داشته باشد. چند نمونه از مهمترین شاخص های این هماهنگی عبارتند از:

-         وجود تحقیقات و بررسی های مداوم و مستمر درباره نیازهای اطلاعاتی سازمان (نیازهای فعلی و آتی)

-         همکاری و ارتباط مبتنی بر اعتماد میان کاربران فناوری اطلاعات سازمان مانند تصمیم‌گیرندگان و کارکنان عملیاتی سازمان با کارمندان و فعالان فناوری اطلاعات و مراکز مدیریت دانش در سازمان.

-         وجود و نهادینه شدن فرهنگ  اشتراک گذاری اطلاعات، دانش و تجربیات در سازمان

-         درک نیاز، تمایل و توانایی در انجام فراتحلیل‌ها و استفاده از آنها نزد مدیران سازمان جهت مدیریت بهتر سازمان.

سازمان ها برای استقرار هوش تجاری بیش از هر مساله دیگری باید نگران زیرساخت های فنی باشند. مشارکت موثر فناوری اطلاعات و کسب و کار سازمان در هوش تجاری بسیار  مهم است. این مشارکت تنها به معنی انجام وظایف مربوط به استقرار هوش تجاری نیست، بلکه به معنای کمک فناوری اطلاعات به بهبود کسب و کار و پیشرفت سازمان در قالب استقرار هوش تجاری است. امروزه سازمان هایی که موفق بهره برداری مناسب از فناوری اطلاعات شده اند به مراتب هوشمند تر و موفق تر هستند.[6]

در شکل زیر مدل مشارکت موثر فناوری اطلاعات وکسب و کار سازمان ارائه شده است: شکل ۱

 

شکل۱  - مدل مشارکت موثر کسب و کار سازمان با فناوری اطلاعات برای استقرار هوش تجاری در سازمان[6]

 

ابزارهای هوش تجاری، طیف وسیعی از خدمات را ارايه میدهند، از گزارشات ساده گرفته تا امکان نفوذ در داده ها برای تحلیل های مورد نیاز مدیران در یک صنعت خاص یا یک محیط عملیاتی. هنگامی که قصد انتخاب استراتژی را داریم باید به ۲ سوال پاسخ بدهیم :

１.   چه نوع داده هایی برای تحلیل های ما مورد نیاز است؟ و از چه منبعی باید این داده را تامین کرد؟

２.   تجزیه و تحلیل داده توسط چه کسی باید انجام شود و نتایج حاصل از تحلیل ها به چه صورت باید ارايه شود؟

ارايه پاسخ روشن به این ۲ پرسش مسیر حرکت سازمان را برای استقرار هوش تجاری روشن میکند.

پیش نیازها و مراحل فنی  استقرار هوش تجاری عبارتند از:

3.1.                    سخت افزارهای مورد نیاز برای ذخیره سازی اطلاعات و انجام محاسبات

ارتقاء زیرساخت های ذخیره سازی داده ها(شبکه ذخیره سازی، ملحقات شبکه ذخیره سازی،مدیریت ذخیره سازی سلسله مراتبی)

3.2.                   نرم افزارهای کاربردی و منابع داده

نرم افزارها بایدسازماندهی شوند. مشکل انتقال و ارتباط و تجمیع داده ها در نرم افزارهای مختلف حل شود(CRM , SCM ,ERP)

3.3.                  تجمیع داده ها

نرم افزار واسطی ایجاد شود که تمام انواع پروتکل ها، واسط های کاربری، و مدل های اشیاء و ساختار داده ها برای ارتباط نرم افزارهای مختلف با یکدیگر را پوشش دهد. برای این امر نیاز به سرمایه گذاری در بخش اتصال سیستم هاست که امکان تجمیع اطلاعات از انبار های مختلف داده را فراهم میکنند و طی کردن فرآیند ETL که با اتصال به چندین منبع داده مختلف ، داده ها را بدست میآورد و سپس در یک انبار داده همه را مجتمع میکند.

3.4.                  پایگاه های داده رابطه ای و انبار داده ها:

سازمان نیاز به جمع آوری داده های موجود در پاسگا های داده رابطه ای موجود در سازمان در یک انبار داده دارد که اطلاعات تاریخی سازمان  را جمع آوری و طبقه بندی نماید. این فرآیند به کاربران سازمان فدرت زیادی در تجزیه و تحلیل و استخراج اطلاعات مورد نیاز را خواهد داد.

3.5.                  پردازشهای تحلیلی آنلاین و موتور های تجزیه و تحلیل اطلاعات:

نرم افزارهای پردازشهای تحلیلی آنلاین یک لایه جداساز بین انبارهای داده مختلف سازمان و کاربران نهایی سیستم ایجاد میکنند و امکان دستیابی به امکانات زیادی را برای کاربران فراهم میکنند.

3.6.                   نرم افزارهای کاربردی تحلیلی:

نرم افزارهایی که امکان نفوذ در دادها و تجزیه و تحلیل آنها را میسر میسازند.

3.7.                  نمایش اطلاعات و تحویل نتایج:

نتایج درخواست ها به طرق مختلفی میتواند به کاربران ارائه شود. ابزار داشبورد، ابزارهای گزارش گیری مثل کریستال ریپورت و ابزارهای سیار مثل گوشی موبایل و...

4.     چالشهای استقرار هوش تجاری در سازمان ها

چالش عمده سازمان ها در استقرار هوش تجاری، بحث یکپارچگی و تجمیع داده های سازمان در قالب انبار داده است. معمولا داده ها در یک سازمان توسط نرم افزارها و سیستم های اطلاعاتی مختلفی جمع آوری میشوند و همین موضوع باعث مشکل شدن کار تجمیع داده ها میشود. ۹۰٪ از پرژه های انبار داده در سازمان ها که با شکست مواجه شده اند، از همین مشکل رنج میبرده اند[4]

وقتی انبار داده مورد نظر سازمان به تمام زیر سیستم ها و نرم افزارهای سازمان وابسته باشد، در صورت بروز مشکل در یک سیستم، کل پروژه دچار و شکست خواهد شد و این اصلا ریسک مناسبی در اجرای پروژه نمیباشد. بنابراین راه حل مناسب، شکستن برنامه های بزرگ  وابسته به قطعات کوچکتر مستقل است،با این روش  ، شکست یک عنصر، منجر به شکست کل برنامه نمیشود. برای سازمان های بزرگ با منابع داده و سیستم های اطلاعاتی مختلف، مدل زیر پیشنهاد میگردد: شکل ۲

در این مدل، انبارداده هایی وجود دارند(انبار داده، بازارهای داده، منابع ذخیره سازی دادهای عملیاتی)، صدها نرم افزار و برنامه کاربردی وجود دارند که باید انبار های داده را تغذیه نمایند. یک لایه تجمیع داده و یک لایه هوش تجاری نیز دیده شده است.

 

شکل ۲ -مدل تجمیع داده ها در انبارهای داده سازمان های بزرگ [4]

برای یک سازمان بزرگ، برای هر یک از زیر سیستم ها یک انبار داده مجزا در سطح منطقه عملیاتی یا سازمانی خودش در نظر گرفته شده است. که خودش شامل بخش خروجی و گزارشات مخصوص به همان زیر سیستم یا نرم افزار میباشد. هر کدام از این زیر سیستم ها خودشان یک پروژه کامل به حساب می آیند چراکه شامل تمام اجزای پروژه اصلی هستند.

اما برای اتصال زیر سیستم ها از نظر داده ها و تجمیع انها، باید به سراغ استفاده از مستر دیتا یا داده های اصلی سیستم رفت.

داده های اصلی ، که ممکن است شامل داده های مرجع باشد، اطلاعات کلیدی برای بهره برداری از کسب و کار هستند . این اطلاعات کلیدی کسب و کار ممکن است شامل اطلاعات در مورد مشتریان ، محصولات ، کارکنان ، مواد ، تامین کنندگان ، و غیره باشد.در این راستا ، داده ها اصلی می توانند عملیات و فرآیندهای تراکنشی و پشتیبانی زیر سیستم های مختلف را تسهیل کنند.

برای استفاده از داده های اصلی، بعد از شناخت انها لازم است که مدیریت و کارشناس ارشد اطلاعات سازمان آنها را بدرستی طبقه بندی و آماده بهره برداری کند بطوریکه شامل داده های تکراری یا نا معتبر نباشند. این داده ها میتواند مورد توافق نظر در سطح سازمان قرار بگیرد و در تمام زیر سیستم های مورد استفاده باشد.

5.     معماری هوش تجاری در سازمان

 معماری CIF  (Corporate Information Factory) که برای پوشش ضعف موجود در سیستم های EIS که همان مشکل ضعف در استفاده از یک منبع داده بود بوجود آمده است.  CIF يک معماري ادراکي پذيرفته شده ( در سطح وسيع ) است که انباره هاي اطلاعاتي اي که در اجرا و مديريت يک زيرساخت محکم و موفق هوش تجاري مورد استفاده قرار مي گيرند، را توصيف و طبقه بندي مي کند. این معماری بر مبنای تفکیک کل داده های سازمان به 5 پایگاه داده عمده بوجود می آید که عبارتند از:[9]

·         پايگاه هاي داده سيستم اجرايي  (The Operational System Databases)،

·         پايگاه داده تحليلي (Data warehouse)،

·         انباره داده اجرائي (The Operational Data Store)،

·         پايگاه هاي داده تحليلي خرد (Data Marts)،

·         پايگاه هاي داده عملِياتي خرد (Oper Marts).

و در مرحله بعد عملیات يکپارچه سازي فرآيندهای سازمان و کسب وکار به منظور انتقال کارا و موثر داده از سيستم هاي منبع موجود به کاربران تجاري انجام میشود. فرآیند های کسب و کار را در سه گروه اصلی طبقه بندی میکند که عبارتند از:

·         فرآیندهای عمليات تجاري (Business operations): فرآیندهایی که با اطلاعات  عمليات روزانه و جاري سازمان در ارتباطند.   

·         فرآیندهای هوش تجاري (Business intelligence): فرآیندهایی که با جستجوي مداوم براي درک بهتر سازمان، ورودی های سازمان آن و خروجی های آن، تامین کنندگان و مشتریان و کلیه ذینفعان آن در ارتباط است. فرآيندهاي عمليات تجاري ايستا هستند، در حاليکه فرآیندهای هوش تجاري علاوه برفرآيندهاي ايستا، شامل فرآيندهايي است که همواره در حال تکامل اند و باید دائما مورد بررسی قرار گیرند.

·         فرآیندهای مديريت تجاري (Business management): فرآيندي است که در آن دانشها و بينشهاي جديدي که در هوش تجاري ايجاد مي شوند، در عمليات تجاري روزانه در سرتاسر سازمان معرفي و اجرا مي شوند، فرآیندهای مديريت تجاري تصميمات تاکتيکي که يک سازمان اتخاذ مي کند را در بر مي گيرد و ارزش فوق العاده زیادی برای سازمان دارند و هر میزان که استقرار هوش تجاری در سازمان به بهینه شدن تصمیمات در این سطح کمک کند، ارزش های این نوع سیستم ها بیشتر و بیشتر مشخص خواهد شد.   

در این معماری دو مولفه اصلی وجود دارد که عبارتند از :

5.1.                    دريافت داده (Getting Data In):

 شامل فرآيندها و پايگاه هاي داده اي است كه درگير اخذ داده از سيستم هاي اجرائي، يكپارچه سازي آن، پاكسازي آن و قرار دادن آن در يك پايگاه داده براي استفاده آسان هستند و عبارتند از:

·         پايگاه هاي داده سيستم اجرايي (The Operational System Databases)،

·         پايگاه داده تحليلي (Data warehouse)،

·         انباره داده اجرائي (The Operational Data Store)،

·         اخذ دانش (Data Acquisition)

5.2.                   پس دادن اطلاعات(Getting Information Out) :

 شامل فرآيندها و پايگاه هاي داده اي است که درگير ارائه هوش تجاري به مشتريان تجاري نهايي يا تحليل گران اند و عبارتند از:

·         پايگاه هاي داده تحليلي خرد (Data Marts)،

·         پايگاه هاي داده عملِياتي خرد (Oper Marts)،

·         داده رساني  .(Data delivery)

5.3.                  مراحل استقرار هوش تجاری [11]

1- آماده­سازي (ETL)

        استخراج داده

        پاك­سازي داده

        بايگاني كردن داده قبل و بعد از پاك­سازي

2- يكپارچگي(Integrity)

        تطبيق داده و يكپارچگي چند منبع داده­اي

3- تحليل سطح بالا

        محاسبه ديدهاي تحليلي از ديدهاي پايه - ايجاد پارامترهاي تحليلي

4- خصوصي­سازي

        استخراج و خصوصي سازي اطلاعات - ايجاد پايگاه داده تحليلي خاص

هر یک از این مراحل، توسط افراد خاصی باید انجام شود. در واقع تخصص های مورد نیاز برای انجام هر یک از مراحل فوق با هم دیگر فرقق می کند.

باید توجه داشت که تقریبا از مرحله اول نیازمند وجود Repository  برای ذخیره meta data ها هستیم. همچنین ممکن است در مراحل آخر نیازمندی جدیدی برای مرحله ETL[3] پیش آید که در این صورت نیازمند انجام مجدد مراحل اولیه هستیم.

6.     دلایل شکست پروژه های هوش تجاری

پروژه های هوش تجاری، از آنجایی که بیش از همه انواع پروژه های فناوری اطلاعات در سازمان ها وابسته به لایه های زیر ساختی میباشد، توجه بیشتری را متوجه زیرساخت ها میکند. همچنین با توجه به اینکه خروجی استقرار هوش تجاری در سازمان ها بصورت مشخص و واضح قابل سنجش و اندازه گیری نیست، اغلب مدیران را دچار مشکلاتی میکند. با بررسی اخیری که توسط شرکت خدماتی و مشاوره KPMG انجام شده، 6 عامل اصلی شکست پروژه های فناوری اطلاعات به صورت زیر بیان شده است:[2]

1-     برنامه ریزی ضعیف پروژه  2- طرح توجیهی ضعیف 3- عدم درگیری و پشتیبانی مدیریت ارشد4- عدم درگیری کاربر 5- تازه بودن تکنولوژی برای سازمان 6- عدم از خود دانستن پروژه

تمام موارد فوق برای پروژه های هوش تجاری وجود دارد و باید مورد توجه قرار گیرد بویژه بحث تازه بودن تکنولوژی برای سازمان، اما طی تجربیات و پژوهش هایی که توسط شرکت های فعال در این حوزه انجام شده، موارد اجرایی که منجر به شکست پروژه های هوش تجاری شده اند را نیز میتوان در ۸ مورد اصلی دسته بندی کرد:[3]

6.1.                     ﻋﺪﻡ ﺣﻤﺎﻳﺖ ﻣﺪﻳﺮﻳﺖ ﺍﺭﺷﺪ: 

ﺩﺭ ﺻــﻮﺭﺗﻲ ﻛــﻪ ﻣــﺪﻳﺮﻳﺖ ﻣﺮﺍﺣﻞ ﺍﺳﺘﻘﺮﺍﺭ ﺍﻧﺒﺎﺭ ﺩﺍﺩﻩ ﻭ ﻫــﻮﺵ ﺗﺠ ﺎﺭﻱ ﺭﺍ ﺩﺭﻙ ﻧﻜﻨﺪ ﻭ ﻳــﺎ ﺍﺯ ﻣﺰﺍﻳ ﺎﻱ ﺁﻥ ﺑــﻲﺧﺒﺮ ﺑﺎﺷﺪ، ﺁﻥ ﭼﻨﺎﻥ ﻛــﻪ ﻻﺯﻡ ﺍﺳﺖ ﺑﻪ ﭘﺮﻭﮊﻩ ﺍﻫﻤﻴـﺖ ﺩﺍﺩﻩ ﻧﻤـﻲﺷـﻮﺩ ﻭ ﭘـﺮﻭﮊﻩ ﻣـﺪﺍﻡ ﺑـﻪ ﺗﻌﻮﻳـﻖ ﻣـﻲﺍﻓﺘـﺪ. ﻣـﺪﻳﺮﺍﻥ ﺍﺟﺮﺍﻳﻲ ﺑﺎﻳــﺪ ﺑﺪﺍﻧﻨﺪ ﻛــﻪ ﺍﺳﺘﻘﺮﺍﺭ ﻫــﻮﺵ ﺗﺠﺎﺭﻱ ﻓﻘﻂ ﺷــﺎﻣﻞ ﻣﺮﺍﺣﻞ ﺍﺳﺘﻘﺮﺍﺭ ﻓﻨﻲ ﻧﻤﻲﺷــﻮﺩ ﻭ ﻣﻤﻜﻦ ﺍﺳﺖ ﻣﻨﺠﺮ ﺑــﻪ ﺗﻐﻴﻴﺮ ﺩﺭ ﻓﺮﺍﻳﻨﺪﻫﺎ ﻭ ﻛﺴﺐﻭﻛﺎﺭ ﺳــﺎﺯﻣﺎﻥ ﮔــﺮﺩﺩ.  ﺯﻳﺮﺍ ﺑﺮﺍﻱ ﺍﻳﻨﻜﻪ ﺳـﺎﺯﻣﺎﻥ ﺑﺘﻮﺍﻧـﺪ ﺍﺯ ﺗﻤـﺎﻡ ﻣﺰﺍﻳـﺎﻱ ﻫـﻮﺵ ﺗﺠـﺎﺭﻱ ﺑﻬـﺮﻩﻣﻨـﺪ ﮔـﺮﺩﺩ ﺑﺎﻳـﺪ ﺍﺯﺗﻤﺎﻡ ﺧﺮﻭﺟﻲﻫﺎﻱ ﻫﻮﺷﻤﻨﺪﻱ ﺍﺳﺘﻔﺎﺩﻩ ﻛﻨﺪ ﻭ ﺭﻭﺵ ﺍﺩﺍﺭﻩ ﻛﺴﺐﻭﻛﺎﺭ ﺭﺍ ﺗﻐﻴﻴﺮ ﺩﻫﺪ.  

6.2.                    ﺷﻨﺎﺳﺎﻳﻲ ﺿﻌﻴﻒ ﻧﻴﺎﺯﻣﻨﺪﻱﻫﺎﻱ ﺳﺎﺯﻣﺎﻥ:

ﻳﻜﻲ ﺍﺯ ﻣﻬﻢﺗــﺮﻳﻦ ﮔــﺎﻡﻫــﺎ، ﻛــﻪ ﻏﺎﻟﺒ ﺎ ﻧﺎﺩﻳﺪﻩ ﮔﺮﻓﺘﻪ ﻣــﻲﺷــﻮﺩ، ﻣﺮﺣﻠﻪ ﺟﻤﻊﺁﻭﺭﻱ ﻧﻴﺎﺯﻣﻨﺪﻱﻫــﺎﻱ ﻛﺴﺐﻭﻛﺎﺭ ﺍﺳﺖ.

ﺑﺴــﻴﺎﺭﻱ ﺍﺯ ﺳــﺎﺯﻣﺎﻥﻫــﺎ ﺑﻌــﺪ ﺍﺯ ﺍﺗﻤــﺎﻡ ﻣﻌﻤــﺎﺭﻱ انبار داده، ﺍﺯ ﻛــﺎﺭﺑﺮﺍﻥ ﻧﻬــﺎﻳﻲ ﺟﻬــﺖ ﻧﻈﺮﺳــﻨﺠﻲ ﺍﺭ ﻧﺘــﺎﻳﺞ ﻃــﺮﺡ ﺩﻋــﻮﺕ ﻣـﻲﻛﻨﻨـﺪ، ﺩﺭ ﺣﺎﻟﻴﻜـﻪ ﻧﻈـﺮ ﺍﻓـﺮﺍﺩ ﻣﻲﺑﺎﻳﺴـﺖ ﻗﺒـﻞ ﺍﺯ ﻣﻌﻤـﺎﺭﻱ ﻭ ﻃﺮﺍﺣـﻲ انبار داده ﮔﺮﻓﺘﻪ ﻣــﻲﺷــﺪ. ﺑــﻪ ﻣﻨﻈﻮﺭ ﺟﻤـﻊﺁﻭﺭﻱ ﻧﻴﺎﺯﻣﻨـﺪﻱﻫـﺎ ﺩﺭ ﻓـﺎﺯ ﺷــﻨﺎﺧﺖ ﭘــﺮﻭﮊﻩ، ﺩﺭﮔﻴــﺮ ﻛــﺮﺩﻥ ﻛﺎﺭﺑﺮﺍﻥ، ﺍﺯ ﺍﻣـﻮﺭ ﺑـﻲﭼـﻮﻥﻭﭼـﺮﺍ ﺟﻬـﺖ ﺗﻀـــﻤﻴﻦ ﺑـــﺮﺍﻱ ﭘـــﻲ ﺑـــﺮﺩﻥ ﺑـــﻪ ﻧﻴﺎﺯﻣﻨـﺪﻱﻫــﺎﻱ ﻭﺍﻗﻌﻲ ﻛــﺎﺭﺑﺮﺍﻥ ﺍﺳﺖ.

6.3.                   ﻃﺮﺍﺣﻲ ﺿﻌﻴﻒ: 

ﮔــﺎﻡ ﮐﻠﻴﺪﻱ ﺑﻌﺪﻱ ﻃﺮﺍﺣﻲ ﻣﻌﻤﺎﺭﻱ ﻫــﻮﺵ ﺗﺠﺎﺭﻱ ﺍﺳﺖ. ﻧﮑﺘــﻪ ﻣﻬﻢ ﺍﻳﻦ ﺍﺳﺖ ﮐــﻪ ﺍﺯ ﺍﻓﺮﺍﺩﻱ ﺍﺳ ﺘﻔﺎﺩﻩ ﺷــﻮﺩ ﮐــﻪ ﺩﺭ ﺍﻳﻦ ﺯﻣﻴﻨﻪ ﺗﺠﺮﺑﻪ ﺩﺍﺭﻧﺪ. ﺑﺎﻳﺪ ﺍﺯ ﻃﺮﺍﺣﺎﻥ ﻭ ﺗﻮﺳﻌﻪﺩﻫﻨﺪﮔﺎﻧﻲ ﺍﺳﺘﻔﺎﺩﻩ ﺷــﻮﺩ ﮐــﻪ ﺩﺍﺭﺍﻱ ﺁﻣﻮﺯﺵﻫــﺎﻱ ﻻﺯﻡ ﺑــﺮﺍﻱ ﺍﻳﺠﺎﺩ انبار داده ﻫﺴﺘﻨﺪ ﻭ ﺗﻨﻬﺎ ﺗﺠﺮﺑﻪ ﺍﻳﺠﺎﺩ ﭘﺎﻳﮕﺎﻩ ﺩﺍﺩﻩ ﮐــﺎﻓﻲ ﻧﻴﺴﺖ. ﺯﻳﺮﺍ ﻓﺮﺍﻳﻨﺪ انبار داده ﺷــﺎﻣﻞ ﺍﺳﺘﺨﺮﺍﺝ ﺩﺍﺩﻩﻫــﺎ ﺍﺯ ﻳــﮏ ﻳــﺎ ﭼﻨﺪ ﺑﺮﻧﺎﻣﻪ ﻣﺮﮐﺰﻱ ﻭ ﺗﺒﺪﻳﻞ ﺩﺍﺩﻩﻫــﺎ ﺑــﻪ ﻓﺮﻣﺘﻲ ﻗﺎﺑﻞﺍﺳﺘﻔﺎﺩﻩﺗــﺮ ﺍﺳﺖ.

6.4.                   ﻓﻘﺪﺍﻥ ﺁﻣﻮﺯﺵ: 

ﺑﻌـــﺪ ﺍﺯ ﺗﮑﻤﻴـﻞ انبار داده ، ﻣﻮﻓﻘﻴـﺖ ﺑـــﻪ ﺍﻳـﻦ ﺑﺴـــﺘﮕﻲ ﺩﺍﺭﺩ ﮐـــﻪ انبار داده ﺑـــﺮﺍﻱ ﺳـــﺎﺯﻣﺎﻥ ﭼﮕﻮﻧــﻪ ﺭﻭﻧﻤــﺎﻳﻲ ﺧﻮﺍﻫــﺪ ﺷــﺪ. ﺑﺴــﻴﺎﺭﻱ ﺍﺯ ﺷــﺮﮐﺖﻫــﺎ ﺩﺭ ﺍﻳــﻦ ﮔــﺎﻡ ﻣﺸــﮑﻞ ﺩﺍﺭﻧــﺪ ﻭ ﻣﻌﻤﻮﻻ ﺍﻳﻦ ﺑﺎﻋﺚ ﻣــﻲﺷــﻮﺩ ﮐــﻪ ﺍﺳــﺘﻘﺮﺍﺭ انبار داده ﺑــﻪ ﺷﮑﺴــﺖ ﺑﻴﻨﺠﺎﻣــﺪ. ﺍﺻــﻠﻲﺗــﺮﻳﻦ ﺩﻟﻴـﻞ ﮐـﻪ ﺑـﻪ ﻧﻈـﺮ ﻣـﻲﺭﺳـﺪ، ﻓﻘـﺪﺍﻥ ﺁﻣﻮﺯﺵﻫــﺎﻱ ﮐــﺎﻓﻲ ﺍﺯ ﺳــﻮﻱ ﺷــﺮﮐﺖ ﺑــﺮﺍﻱ ﮐــﺎﺭﺑﺮﺍﻥ ﺍﺳــﺖ. ﺑﺠــﺎﻱ ﺁﻣــﻮﺯﺵ ﺁﻥﻫــﺎ ﺑــﺎ ﺟﺰﺋﻴﺎﺕ ﺩﻗﻴﻖ، ﺑــﻪ ﻳـﮏ ﻣــﺮﻭﺭ ﺍﺟﻤﺎﻟﻲ ﺍﮐﺘﻔﺎ ﻣـﻲﮐﻨﻨﺪ.

6.5.                   ﻋﺪﻡ ﻣﻮﻓﻘﻴﺖ ﺩﺭ ﮔﺴﺘﺮﺵ ﺩﺍﺩﻥ ﺑﻪ ﻭﺳﻴﻠﻪ data mart ﻫﺎ: 

ﺑﻌﺪ ﺍﺯ ﺍﻳﻦ ﮐﻪ انبار داده ﺍﻭﻟﻴﻪ ﺳـﺎﺧﺘﻪ ﺷـﺪ، ﺑـﻪ ﻧﻈـﺮ ﻣـﻲﺭﺳـﺪ ﮐـﻪ ﮐـﺎﺭ ﺗﻤـﺎﻡ ﺷـﺪﻩ ﺍﺳـﺖ. ﻣﻌﻤـﻮﹰﻻ ﻣﺮﺣﻠـﻪ ﺑﻌـﺪ ﮐـﻪ ﻣﺸـﺨﺺ ﮐﺮﺩﻥ ﻳﮏ ﻃﺮﺡ ﺟﻬـﺖ ﺍﺳـﺘﻔﺎﺩﻩ ﺍﺯ ﺩﺍﺩﻩﻫـﺎﻱ ﺩﺭﻭﻥ انبار داده ﺍﺳـﺖ،ﻓﺮﺍﻣـﻮﺵ ﻣـﻲﺷـﻮﺩ. ﺗﻮﺻـﻴﻪ ﻣـﻲﺷـﻮﺩ ﮐـﻪ ﺑـﺮﺍﻱ ﺗﺴـﻬﻴﻞﺍﻧﺠـﺎﻡ ﻭﻇـﺎﻳﻒ ﮐـﺎﺭﺑﺮﺍﻥ ﻧﺴـﺒﺖ ﺑـﻪ ﺳـﺎﺧﺖ ﻫﻤﺒﺴـﺘﻪﻫـﺎ ﻳـﺎ data mart ﻫـﺎ ﺍﻗـﺪﺍﻡ ﺷـﻮﺩ. data mart ﻫـﺎ ﻣـﻲﺗﻮﺍﻧﻨـﺪ ﺑﺮﺍﻱ ﺳـﺎﺧﺖ ﻳـﮏ ﻣـﺪﻝ ﺑﺴـﻴﺎﺭ ﺳـﺎﺩﻩﺷـﺪﻩﺗـﺮ ﺍﺯ ﺩﺍﺩﻩﻫـﺎ ﺑـﻪ ﮐـﺎﺭ ﺭﻭﻧـﺪ. data mart ﻣـﻲﺗﻮﺍﻧـﺪ ﺩﺍﺭﺍﻱ ﺧﻼﺻـﻪﺳـﺎﺯﻱﻫـﺎ، ﻣﺤﺎﺳﺒﺎﺕ ﻭ ﺗﻐﻴﻴﺮ ﻧــﺎﻡ ﺩﺍﺩﻩﻫــﺎ ﺑﺎﺷﺪ، ﺑــﻪ ﻧﺤﻮﻱ ﮐــﻪ ﮐــﺎﺭﺑﺮﺍﻥ ﺭﺍﺣﺖﺗــﺮ ﺑﺘﻮﺍﻧﻨﺪ ﺑــﻪ ﺍﻃﻼﻋﺎﺕ ﻣــﻮﺭﺩ ﻧﻴﺎﺯﺷﺎﻥ ﺩﺳﺘﺮﺳﻲ ﺩﺍﺷﺘﻪ ﺑﺎﺷﻨﺪ. ﺍﺯ ﺁﻧﺠﺎﻳﻲ ﻛــﻪ data mart ﻫــﺎ ﺩﺳﺘﺮﺳﻲ ﻣﻨﺎﺳﺐﺗــﺮ ﺑــﻪ ﺍﻃﻼﻋﺎﺕ ﺑــﺮﺍﻱ ﻛــﺎﺭﺑﺮﺍﻥ ﻓــﺮﺍﻫﻢ ﻣــﻲﻛﻨﻨﺪ ﻭ ﺑﺎﻋﺚ ﻣــﻲﺷــﻮﺩ ﻛــﻪ ﺣﺠﻢ ﺑــﺎﺭ ﺩﺍﺩﻩﻫــﺎ ﺑــﺮ ﺭﻭﻱ انبار داده ﻛــﺎﻫﺶ ﻳﺎﺑﺪ، ﻟــﺬﺍ ﻭﺟﻮﺩ ﺁﻧﻬﺎ ﺑــﺮﺍﻱ ﺍﻓﺰﺍﻳﺶ ﻛــﺎﺭﺍﻳﻲ ﺿــﺮﻭﺭﻱ ﻣــﻲﻧﻤﺎﻳﺪ. ﺩﺭ ﻧﺘﻴﺠﻪ ﻓﻘﻘﺪﺍﻥ date mart ﻫــﺎ ﻳــﺎ ﻋــﺪﻡ ﻃﺮﺍﺣﻲ ﻣﻨﺎﺳﺐ ﺁﻥﻫــﺎ ﻣــﻲﺗﻮﺍﻧﺪ ﭘــﺮﻭﮊﻩ ﺍﺳﺘﻘﺮﺍﺭ انبار داده ﺭﺍ ﺑــﺎ ﻣﺸﻜﻼﺕ ﻣﺘﻌﺪﺩﻱ ﻣﻮﺍﺟﻪ ﺳﺎﺯﺩ.  

6.6.                    ﺍﺳﺘﻔﺎﺩﻩ ﺍﺯ ﺍﺑﺰﺍﺭ ﻏﻠﻂ: 

ﺍﺯ ﺩﻻﻳﻞ ﺩﻳﮕﺮ ﺍﺳﺘﻘﺮﺍﺭ ﻧــﺎﻣﻮﻓﻖ ﺍﻧﺒﺎﺭﻩ ﺩﺍﺩﻩ ﻭ ﻫــﻮﺵ ﺗﺠﺎﺭﻱ ﺩﺭﺳــﺎﺯﻣﺎﻥﻫــﺎ ﺍﻧﺘﺨﺎﺏ ﺍﺑﺰﺍﺭ ﻧﺎﻣﻨﺎﺳﺐ ﻣــﻲﺑﺎﺷﺪ. ﺑــﺮﺍﻱ ﮐﺎﺭﺑﺮﺩﻫﺎﻱ ﻣﺨﺘﻠﻒ ﺍﺑﺰﺍﺭﻫﺎﻱ ﻣﺘﻔﺎﻭﺗﻲ ﺩﺭ ﺍﺧﺘﻴﺎﺭ ﺍﺳﺖ. ﻣــﻲﺗــﻮﺍﻥ ﺑــﻪ ﻋﻨﻮﺍﻥ ﻣﺜــﺎﻝ ﺑــﻪ ﺍﺑﺰﺍﺭﻫﺎﻱ ETL، ﮔــﺰﺍﺭﺵﮔﻴﺮﻱ، ﺩﺍﺩﻩﮐــﺎﻭﻱ، OLAP ﻭ ﺍﺑﺰﺍﺭﻫﺎﻱ web-based ﻧﻈﻴﺮ ﺩﺍﺷﺒﻮﺭﺩﻫﺎ ﺍﺷﺎﺭﻩ ﮐــﺮﺩ. ﻧﮑﺘــﻪ ﻣﻬﻢ ﺍﻳﻦ ﺍﺳـﺖ ﮐـﻪ ﺑﺎﻳـﺪ ﺑـﺎ ﺩﻗـﺖ ﻭ ﺑﺮﺭﺳـﻲ ﺩﺭ ﻧﻴﺎﺯﻫـﺎﻱ ﮐـﺎﺭﺑﺮﺍﻥ، ﻣﺠﻤﻮﻋﻪ ﺍﺑﺰﺍﺭﻱ ﺍﻧﺘﺨﺎﺏ ﺷــﻮﺩ ﮐــﻪ ﺑــﻪ ﻋﻨﻮﺍﻥ ﻳــﮏ ﻣﮑﻤــﻞ ﺩﺭ ﺍﻧﺠﺎﻡ ﮐﺎﺭﻫﺎ ﺍﺳﺘﻔﺎﺩﻩ ﺩﺍﺷﺘﻪ ﺑﺎﺷﺪ. ﺩﺭ ﺍﻳـﻦ ﺭﺍﺳـﺘﺎ ﭘﻴﺸـﻨﻬﺎﺩ ﻣـﻲﮔـﺮﺩﺩ ﺳـﺎﺯﻣﺎﻥ ﺩﺭ ﺍﺑﺘـﺪﺍﻱ ﭘـﺮﻭﮊﻩ ﻭ ﺑﻌﺪ ﺍﺯ ﺷﻨﺎﺧﺖ ﻧﻴﺎﺯﻣﻨـﺪﻱﻫـﺎ ﻭ ﻣﺤـﺪﻭﺩﻩ ﺍﺟـﺮﺍﻱ ﻃـﺮﺡ ﺍﻗـﺪﺍﻡ ﺑـﻪ ﺍﻧﺘﺨـﺎﺏ ﺍﺑﺰﺍﺭﻫـﺎﻱ ﻣﻨﺎﺳـﺐ ﺳـﺎﺯﻣﺎﻥ

6.7.                   ﺩﺍﺩﻩﻫﺎﻱ ﺑﻲﻛﻴﻔﻴﺖ: 

ﻳﻜﭙﺎﺭﭼﻪﺳـﺎﺯﻱ ﺩﺍﺩﻩﻫـﺎ ﺑﺎﻋـﺚ ﻣـﻲﺷـﻮﺩ ﻛـﻪ ﺁﻧﭽـﻪ ﻛـﻪ ﺩﺭ ﭘـﺎﺋﻴﻦﺗـﺮﻳﻦ ﺳـﻄﻮﺡ ﺳﺎﺯﻣﺎﻥ ﺍﺗﻔﺎﻕ ﻣـﻲﺍﻓﺘـﺪ ﻣﺸـﺨﺺ ﺷـﻮﺩ. ﮔﺰﺍﺭﺷـﺎﺗﻲ ﻛـﻪ ﻧﺘـﺎﻳﺞ ﻏﻠـﻂ ﻳـﺎ ﻧـﺎﻗﺺ ﺗﻮﻟﻴﺪ ﻣﻲﻛﻨﻨـﺪ ﺑـﻪ ﺍﺳـﺘﻘﺮﺍﺭ هوش تجاری ﻟﻄﻤـﻪ ﻭﺍﺭﺩ ﻣـﻲﻛﻨـﺪ. ﺭﺍﻩﺣـﻞ ﺍﻳـﻦ ﻣﺸـﻜﻞ ﻧﻈـﺎﺭﺕ ﺑﺮ ﺩﺍﺩﻩﻫﺎ ﻭ ﻧﻈﺎﺭﺕ ﺑﺮ ﻛﺴﺐﻭﻛﺎﺭ ﺍﺳﺖ. بر خلاف عقیده بسیاری از کارشناسان که هوش تجاری را یک پروژه زودبازده قلمداد میکنند، به نظر میرسد استقرار هوش تجاری یک پروژه به شدت متکی به زیرساخت هاست و بویژه در بخش مدیریت دانش و اطلاعات سازمان نیازمند توجه وسرمایه گذاری برای تامین داده های با کیفیت است.

 

6.8.                   ﻗﺎﺋﻞ ﺷﺪﻥ ﻳﮏ نقطه ﭘﺎﻳﺎﻥ ﺑﺮﺍﻱ استقرار هوش تجاری: 

ﺑــﺮﺍﻱ ﺍﺳﺘﻘﺮﺍﺭ ﻫــﻮﺵ ﺗﺠﺎﺭﻱ ﺩﺭ ﺳــﺎﺯﻣﺎﻥ ﻧﺒﺎﻳﺪ ﭘﺎﻳﺎﻧﻲ ﺩﺭ ﻧﻈﺮ ﮔﺮﻓﺖ، استقرار هوش تجاری در واقع یک پروژه نیست، یک برنامه است. به این معنی که فاز اول برنامه استقرار هوش تجاری در سازمان میتواند بصورت پروژه استقرار هوش تجاری باشد ولی بعد از پایان پروژه، باید بصورت مداوم روی داده های ورودی، فرآیند های انبار داده و داده کاوی و سایر ابزارهای هوش تجاری کار شود تا همواره بهترین و صحیح ترین خروجی را برای کاربران مهیا سازد.

موارد ذکر شده، بیشتر در حوزه اجرای ‍ پروژه ها مورد بحث قرار گرفته است، اما امروزه در حوزه تعریف پروژه ها و تعیین میزان موفقیت پروژه ها، جدا از اینکه پروژه با موفقیت اجرا شده یا خیر، بحث میزان اثربخشی اجرای پروژه در فرآیند های سازمان نیز بسیار پر اهمیت قلمداد میشود و پروژه ای که تعریف نادرستی داشته باشد یا اهداف درستی را مدنظر قرار نداده باشد یا با با در نظر گرفتن زیرساخت های مناسب تعریف نشده باشد و به اجرا در بیاید، هر چند در اجرا درست و کامل و با هزینه مناسب و زمان مناسب به اتمام برسد باز هم یک پروژه شکست خورده تلقی میشود. بنابراین توجه خاصی به حوزه تعریف پروژه ها و مهیا کردن زیرساخت های مورد نیاز برای تعریف یک پروژه بسیار ضروری بنظر میرسد. در خصوص پروژه استقرار هوش تجاری در سازمان این بحث با جدیت بیشتری مطرح است و لازم است که حتما قبل از تصویب و اجرای پروژه، زیرساخت ها فراهم شوند. چه به لحاظ نیروی انسانی، چه به لحاظ محیطی و چه زیر ساخت فرهنگی و فنی و ... و در مرحله بعد حتما میزان آمادگی سازمانی ارزیابی گردد و در نهایت وارد فاز اجرای پروژه شد.

7.    نتیجه گیری

سازمان هایی که برای استقرار هوش تجاری برنامه ریزی میکنند، باید قبل از تصمیم گیری به بررسی زیرساخت های لازم برای بهره گیری از هوش تجاری بپردازند، چه به لحاظ امکانات فنی و چه به لحاظ نیروی انسانی متخصص و چه به لحاظ فرهنگ سازمانی مورد نیاز. همانطور که در مقاله مطرح شده است این عوامل زیرساختی سهم بسیار مهمی از احتمال شکست پروژه های هوش تجاری در سازمان را بخود اختصاص میدهند و همین امر منجر به لزوم توجه بیشتر به این مقوله میشود.

بعد از تصمیم گیری باید ارزیابی آمادگی سازمانی برای قبول استقرار هوش تجاری صورت پذیرد و با توجه به خروجی حاصل از ارزیابی، اقدامات لازم برای ایجاد آمادگی کامل صورت پذیرد.

استقرار هوش تجاری در گرو همکاری و همسویی فناوری اطلاعات و کسب و کار سازمان است. و در صورتی که این دو عامل در یک سازمان با هماهنگی کامل در جهت استقرار هوش تجاری برناه ریزی و هدایت شوند میتوان به مرحله استقرار هوش تجاری در سازمان رسید. در این مرحله نیز گام های استقرار یکی پس از دیگری برداشته میشود و در نهایت منجر به ایجاد سازمانی هوشمند و یادگیرنده میگردد.

مراجع

[1]      آرش خسروی ، ضرورت بكارگيري هوش سازماني در سازمان ها، مرکز تحقيقات کامپيوتری علوم اسلامی

[2]      بررسی دلایل ناکامی پروژه های فناوری اطلاعات

[3]      ﻋﻮﺍﻣﻞ ﻣﻬﻢ ﺟﻠﻮﮔﻴﺮﻱ ﺍﺯ ﺷﻜﺴﺖ ﭘﺮﻭﮊﻩﻫﺎﻱ ﺍﻧﺒﺎﺭﻩ ﺩﺍﺩﻩ ﻭ ﻫﻮﺵ ﺗﺠﺎﺭﻱ، خبرنامه شرکت مگفا بهمن ۱۳۸۷

 

[4]      Data Integration and Management Solutions,Manjunath. B. Assistant Professor, [e-mail]

[5]      Business Intelligence – Past, Present, and Future ,Hugh J. Watson Department of MIS, University of Georgia , nov 2009

[6]      Assessing BI Readiness: A Key to BI ROI, As featured in the Summer 2004 issue of Business Intelligence Journal ,Steve Williams , Nancy Williams

[7]      Knowledge management and business intelligence: the importance of integration , Richard T. Herschel and Nary E. Jones

 

[8]      The integration of business intelligence and knowledge management, W F Cody; J T, Kerulen; V Krishna; W S Spangler, IBM Systems Journal; 2002; 41, 4; ABI/INFORM Global, pg. 697

[9]      http://www.inmoncif.com/home/

 

 

 

---

[1] سید محمود شجاعی کیاسری.

آدرس پست الكترونيكي: [e-mail]

[2] علیرضا طالب پور ، دکتراي الکترونيک (پردازش تصوير، دانشگاه Surrey انگلستان) – عضو هيئت علمی و استاد دانشگاه شهید بهشتی

 

[3] Extract, Transform, Load

مقدمه اي بر داده کاوي و اکتشاف دانش

مقدمه اي بر داده کاوي و اکتشاف دانش

تهيه کنندگان : يوحنا قديمي علي عباسي کاوه پاشايي

مقدمه

امروزه با گسترش سيستم هاي پايگاهي و حجم بالاي داده ها ي ذخيره شده در اين سيستم ها ، نياز به ابزاري است تا بتوان داده هاي ذخيره شده پردازش کرد و اطلاعات حاصل از اين پردازش را در اختيار کاربران قرار داد .

با استفاده ار پرسش هاي ساده در SQL و ابزارهاي گوناگون گزارش گيري معمولي ، مي توان اطلاعاتي را در اختيار کاربران قرار داد تا بتوانند به نتيجه گيري در مورد داده ها و روابط منطقي ميان آنها بپردازند اما وقتي که حجم داده ها بالا باشد ، کاربران هر چند زبر دست و با تجربه باشند نمي توانند الگوهاي مفيد را در ميان حجم انبوه داده ها تشخيص دهند و يا اگر قادر به اين کار هم با شند ، هزينه عمليات از نظر نيروي انساني و مادي بسيار بالا است .

از سوي ديگر کاربران معمولا فرضيه اي را مطرح مي کنند و سپس بر اساس گزارشات مشاهده شده به اثبات يا رد فرضيه مي پردازند ، در حالي که امروزه نياز به روشهايي است که اصطلاحا به کشف دانش^[1]بپردازند يعني با کمترين دخالت کاربر و به صورت خودکار الگوها و رابطه هاي منطقي را بيان نمايند .

داده کاوي^[2] يکي از مهمترين اين روشها است که به وسيله آن الگوهاي مفيد در داده ها با حداقل دخالت کاربران شناخته مي شوند و اطلاعاتي را در اختيار کاربران و تحليل گران قرار مي دهند تا براساس آنها تصميمات مهم و حياتي در سازمانها اتخاذ شوند .

در داده کاوي از بخشي از علم آمار به نام تحليل اکتشافي داده ها^[3] استفاده مي شود که در آن بر کشف اطلاعات نهفته و ناشناخته از درون حجم انبوه داده ها تاکيد مي شود . علاوه بر اين داده کاوي با هوش مصنوعي و يادگيري ماشين نيز ارتباط تنگاتنگي دارد ، بنابراين مي توان گفت در داده کاوي تئوريهاي پايگاه داده ها ، هوش مصنوعي ، يادگيري ماشين و علم آمار را در هم مي آميزند تا زمينه کاربردي فراهم شود .

بايد توجه داشت که اصطلاح داده کاوي زماني به کار برده مي شود که با حجم بزرگي از داده ها ، در حد مگا يا ترابايت ، مواجه باشيم . در تمامي منابع داده کاوي بر اين مطلب تاکيد شده است .

هر چه حجم داده ها بيشتر و روابط ميان آنها پيچيده تر باشد دسترسي به اطلاعات نهفته در ميان داده ها مشکلتر مي شود و نقش داده کاوي به عنوان يکي از روشهاي کشف دانش ، روشن تر مي گردد .

مفاهيم پايه در داده کاوي

در داده کاوي معمولا به کشف الگوهاي مفيد از ميان داده ها اشاره مي شود . منظور از الگوي مفيد ، مدلي در داده ها است که ارتباط ميان يک زير مجموعه از داده ها را توصيف مي کند و معتبر ، ساده ، قابل فهم و جديد است .

تعريف داده کاوي

در متون آکادميک تعاريف گوناگوني براي داده کاوي ارائه شده اند . در برخي از اين تعاريف داده کاوي در حد ابزاري که کاربران را قادر به ارتباط مستقيم با حجم عظيم داده ها مي سازد معرفي گرديده است و در برخي ديگر ، تعاريف دقيقتر که درآنها به کاوش در داده ها توجه مي شود موجود است . برخي از اين تعاريف عبارتند از :

· داده کاوي عبارت است از فرايند استخراج اطلاعات معتبر ، از پيش ناشناخته ، قابل فهم و قابل اعتماد از پايگاه داده هاي بزرگ و استفاده از آن در تصميم گيري در فعاليت هاي تجاري مهم. [1]

· اصطلاح داده کاوي به فرايند نيم خودکار تجزيه و تحليل پايگاه داده هاي بزرگ به منظور يافتن الگوهاي مفيد اطلاق مي شود [2].

· داده کاوي يعني جستجو در يک پايگاه داده ها براي يافتن الگوهايي ميان داده ها.[3]

· داده کاوي يعني استخراج دانش کلان ، قابل استناد و جديد از پايگاه داده ها ي بزرگ .

· داده کاوي يعني تجزيه و تحليل مجموعه داده هاي قابل مشاهده براي يافتن روابط مطمئن بين داده ها .

همانگونه که در تعاريف گوناگون داده کاوي مشاهده مي شود ، تقريبا در تمامي تعاريف به مفاهيمي چون استخراج دانش ، تحليل و يافتن الگوي بين داده ها اشاره شده است .

تاريخچه داده کاوي

اخيرا داده کاوي موضوع بسياري از مقالات ، کنفرانس ها و رساله ها ي عملي شده است ، اما اين واژه تا اوايل دهه نود مفهومي نداشت وبه کار برده نمي شد .

در دهه شصت و پيش از آن زمينه هايي براي ايجاد سيستم ها ي جمع آوري و مديريت داده ها ايجاد شد و تحقيقاتي در اين زمينه انجام پذيرفت که منجر به معرفي و ايجاد سيستم هاي مديريت پايگاه داده ها گرديد .

ايجاد و توسعه مدلهاي داده اي براي پايگاه سلسله مراتبي ، شبکه اي و بخصوص رابطه اي در دهه هفتاد ، منجر به معرفي مفاهيمي همچون شاخص گذاري و سازماندهي داده ها و در نهايت ايجاد زبان پرسش SQL در اوايل دهه هشتاد گرديد تا کاربران بتوانند گزارشات و فرمهاي اطلاعاتي مورد نظر خود را ، از اين طريق ايجاد نمايند .

توسعه سيستم هاي پايگاهي پيشرفته در دهه هشتاد و ايجاد پايگاه هاي شي گرا ، کاربرد گرا^[4] و فعال^[5] باعث توسعه همه جانبه و کاربردي شدن اين سيستم ها در سراسر جهان گرديد . بدين ترتيب DBMS هايي همچون DB2 ، Oracle ، Sybase ، ... ايجاد شدند و حجم زيادي از اطلاعات با استفاده از اين سيستم ها مورد پردازش قرار گرفتند . شايد بتوان مهمترين جنبه در معرفي داده کاوي را مبحث کشف دانش از پايگاه داده ها (^[6]KDD) دانست بطوري که در بسياري موارد DM و KDD بصورت مترادف مورد استفاده قرار مي گيرند .

همانطور که در تعريف داده کاوي ذکر شد ، هدف از جستجو و کشف الگوهايي در پايگاه داده ها و استفاده از آنها در اخذ تصميمات حياتي است ، بنابراين مي توان گفت که DM بخشي از فرايندKDD است که در نهايت به ايجاد سيستم هاي DSS^[7] شکل 1-1 نقش داده کاوي در فرايند کشف دانش از پايگاه داده ها را نشان مي دهد . [4]

براي اولين بار مفهوم داده کاوي در کارگاه^[8] IJCAI در زمينه KDD توسط Shapir مطرح گرديد . به دنبال آن در سالهاي 1991 تا 1994 ، کارگاههاي KDD مفاهيم جديدي را در اين شاخه از علم ارائه کردند بطوري که بسياري از علوم و مفاهيم با آن مرتبط گرديدند که مي توان آنها را در شکل 2-1 مشاهده نمود.

برخي از کاربردهاي داده کاوي در محيطهاي واقعي عبارتند از :

1. خرده فروشي : از کاربردهاي کلاسيک داده کاوي است که مي توان به موارد زير اشاره کرد :
• تعيين الگوهاي خريد مشتريان
• تجزيه و تحليل سبد خريد بازار
• پيشگويي ميزان خريد مشتريان از طريق پست(فروش الکترونيکي)
2. بانکداري :
• پيش بيني الگوهاي کلاهبرداري از طريق کارتهاي اعتباري
• تشخيص مشتريان ثابت
• تعيين ميزان استفاده از کارتهاي اعتباري بر اساس گروههاي اجتماعي
3. بيمه :
• تجزيه و تحليل دعاوي
• پيشگويي ميزان خريد بيمه نامه هاي جديد توسط مشتريان
4. پزشکي :
• تعيين نوع رفتار با بيماران و پيشگويي ميزان موفقيت اعمال جراحي
• تعيين ميزان موفقيت روشهاي درماني در برخورد با بيماريهاي سخت

مراحل فرايند کشف دانش از پايگاه داده ها

فرايند کشف دانش از پايگاه داده ها شامل پنج مرحله است که عبارتند از :

1. انبارش داده ها^[9]

2. انتخاب داده ها

3. تبديل داده ها

4. کاوش در داده ها

5. تفسير نتيجه

همانگونه که مشاهده مي شود داده کاوي يکي از مراحل اين فرايند است که به عنوان بخش چهارم آن نقش مهمي در کشف دانش از داده ها ايفا مي کند.

· انبارش داده ها

وجود اطلاعات صحيح و منسجم يکي از ملزوماتي است که در داده کاوي به آن نيازمنديم . اشتباه و عدم وجود اطلاعات صحيح باعث نتيجه گيري غلط و در نتيجه اخذ تصميمات ناصحيح در سازمانها مي گردد و منتج به نتايج خطرناکي خواهد گرديد که نمونه هاي آن کم نيستند .

اکثر سازمانها دچار يک خلا اطلاعاتي^[10] هستند . در اينگونه سازمانها معمولا سيستم هاي اطلاعاتي در طول زمان و با معماري و مديريت هاي گوناگون ساخته شده اند ، به طوري که سازمان اطلاعاتي يکپارچه و مشخصي مشاهده نمي گردد . علاوه بر اين براي فرايند داده کاوي به اطلاعات خلاصه و مهم در زمينه تصميم گيريهاي حياتي نيازمنديم .

هدف از فرايند انبارش داده ها فراهم کردن يک محيط يکپارچه جهت پردازش اطلاعات است . در اين فرايند ، اطلاعات تحليلي و موجز در دوره هاي مناسب زماني سازماندهي و ذخيره مي شود تا بتوان از آنها در فرايند هاي تصميم گيري که از ملزومات آن داده کاوي است ، استفاده شود . به طور کلي تعريف زير براي انبار داده ها ارائه مي گردد :

انبار داده ها ، مجموعه اي است موضوعي^[11] ، مجتمع^[12] ، متغير در زمان^[13] و پايدار^[14] از داده ها که به منظور پشتيباني از فرايند مديريت تصميم گيري مورد استفاده قرار مي گيرد .[1]

انبارش داده ها خود موضوع مفصلي است که مقاله ها و رساله ها ي گوناگوني در مورد آن نگاشته شده اند . در اين فصل به منظور آشنايي با اين فرايند به آن اشاره اي شد .

· انتخاب داده ها

انبار داده ها شامل انواع مختلف و گوناگوني از داده ها است که همه آنها در داده کاوي مورد نياز نيستند . براي فرايند داده کاوي بايد داده ها ي مورد نياز انتخاب شوند . به عنوان مثال در يک پايگاه داده هاي مربوط به سيستم فروشگاهي ، اطلاعاتي در مورد خريد مشتريان ، خصوصيات آماري آنها ، تامين کنندگان ، خريد ، حسابداري و ... وجود دارند . براي تعيين نحوه چيدن قفسه ها تنها به داده ها يي در مورد خريد مشتريان و خصوصيات آماري آنها نياز است . حتي در مواردي نياز به کاوش در تمام محتويات پايگاه نيست بلکه ممکن است به منظور کاهش هزينه عمليات ، نمونه هايي از عناصر انتخاب و کاوش شوند .

· تبديل داده ها

هنگامي که داده هاي مورد نياز انتخاب شدند و داده ها ي مورد کاوش مشخص گرديدند ، معملا به تبديلات خاصي روي داده ها نياز است . نوع تبديل به عمليات و تکنيک داده کاوي مورد استفاده بستگي دارد : تبديلاتي ساده همچون تبديل نوع داده اي به نوع ديگر تا تبديلات پيچيده تر همچون تعريف صفات جديد با انجام عملياتهاي رياضي و منطقي روي صفات موجود .

· کاوش در داده ها

داده هاي تبديل شده با استفاده از تکنيکها و عملياتهاي داده کاوي مورد کاوش قرار مي گيرند تا الگوهاي مورد نظر کشف شوند .

· تفسير نتيجه

اطلاعات استخراج شده با توجه به هدف کاربر تجزيه و تحليل و بهترين نتايج معين مي گردند . هدف از اين مرحله تنها ارائه نتيجه (بصورت منطقي و يا نموداري) نيست ، بلکه پالايش اطلاعات ارايه شده به کاربر نيز از اهداف مهم اين مرحله است .

عملياتهاي داده کاوي

در داده کاوي ، چهار عمل اصلي انجام مي شود که عبارتند از [1]

1. مدلسازي پيشگويي کننده

2. تقطيع پايگاه داده ها

3. تحليل پيوند

4. تشخيص انحراف

از عملياتهاي اصلي مذکور ، يک يا بيش از يکي از آنها در پياده سازي کاربرد هاي گوناگون داده کاوي استفاده مي شوند . به عنوان مثال براي کاربرد هاي خرده فروشي معمولا از عمليات تقطيع و تحليل پيوند استفاده مي شود در حالي که براي تشخيص کلاهبرداري ، مي توان از هر يک از چهار عمليات مذکور استفاده نمود . علاوه برا ين مي توان از دنباله اي از عملياتها براي يک منظور خاص استفاده کرد . مثلا براي شناسايي مشتريان ، ابتدا پايگاه تقطيع مي شود و سپس مدلسازي پيشگويي کننده در قطعات ايجاد شده اعمال مي گردد .

تکنيکها ، روشها و الگوريتمهاي داده کاوي ، راههاي پياده سازي عملياتهاي داده کاوي هستند . اگر چه هر عمليات نقاط ضعف و قوت خود را دارد ، ابزارهاي گوناگون داده کاوي عملياتها را بر اساس معيارهاي خاصي ، انتخاب مي کنند .اين معيارها عبارتند از :

· تناسب با نوع داده هاي ورودي

· شفافيت خروجي داده کاوي

· مقاومت در مقابل اشتباه در مقادير داده ها

· ميزان صحت خروجي

· توانايي کار کردن با حجم بالاي داده ها

در جدول زيرتکنيکهاي وابسته به هر يک از عملياتهاي چهار گانه مشخص شده اند

نام عمليات	تکنيک هاي داده کاوي
مدلسازي پيشگويي کننده	رده بندي ، پيشگويي مقدار
تقطيع پايگاه داده ها	خوشه بندي آماري ، خوشه بندي
تحليل پيوند	کشف بستگي ، کشف الگوهاي متوالي ، کشف دنباله هاي زماني مشابه
تشخيص انحراف	آمار ، تجسم مدل

عملياتها و تکنيکهاي داده کاوي

مدلسازي پيشگويي کننده

مدلسازي پيشگويي کننده ، شبيه تجربه يادگيري انسان در به کار بردن مشاهدات براي ايجاد يک مدل از خصوصيات مهم پديده ها است . در اين روش از تعميم دنياي واقعي و تعميم دنياي واقعي و قابليت تطبيق داده هاي جديد با يک قالب کلي ، استفاده مي شود .

در اين مدل ، مي توان با تحليل يک پايگاه داده هاي موجود ، خصوصيات مجموعه هاي داده را تعيين کرد . اين مدل با استفاده از روش يادگيري نظارت شده، شامل دو فاز آموزش و آزمايش ايجاد شده است . در فاز آموزش با استفاده از نمونه هاي عظيمي از داده هاي سابقه اي ، مدلي ساخته مي شود که که به آن مجموعه آموزشي گو يند . در فاز آزمايش اين مدل روي داده هايي که در مجموعه آموزشي قرار ندارند ، اعمال مي شود تا صحت و خصو صيات آن تاييد گردد .

از کاربردهاي عمده اين مدل مي توان به مديريت مشتريان ، تصويب اعتبار ، بازاريابي مستقيم در خرده فروشي و ... اشاره کرد .

تقطيع پايگاه داده ها

هدف از تقطيع پايگاه داده ها ، تقسيم آن به تعداد نامعيني از قطعات يا خوشه هايي^[15] از رکوردهاي مشابه است ، يعني رکوردهايي که خصوصياتي مشابه دارند و مي توان آنها را همگن فرض کرد . پيوستگي داخلي اين قطعات بسيار زياد است در حالي که همبستگي خارجي ميان آنها کم مي باشد .

در اين مدل بر خلاف مدل قبل ، از يادگيري نظارت نشده براي تعيين زيرشاخه هاي ممکن از جمعيت داده اي استفاده مي شود . دقت تقطيع پايگاه داده ها از روشهاي ديگر کمتر است ، بنابراين در مقابل خصوصيات نامربوط و افزونگي ، حساسيت کمتري از خود نشان مي دهد .

از کاربردهاي اين روش مي توان به شناسايي مشتريان ، بازاريابي مستقيم و ... اشاره کرد . در شکل 4-1 مثالي از تقطيع پايگاه داده ها ديده مي شود . [1]

در اين مثال ، پايگاه داده ها شامل 200 مشاهده است که در آن100 اسکناس تقلبي و 100 اسکناس واقعي هستند . داده ها داراي شش بعد مي باشند که هر بعد مربوط به يک معيار از اندازه اسکناس ها است . با استفاده از تقطيع پايگاه داده ها مي توان خوشه هاي متناظر با اسکناسهاي معتبر و تقلبي را تشخيص داد . دو خوشه از اسکناسهاي تقلبي وجود دارند و اين بدان معني است که حداقل دو گروه مبادرت به توليد و چاپ اسکناسهاي تقلبي مي کنند .

تقطيع پايگاه داده ها با آمارگيري مرتبط است که در ان از فاصله ميان رکوردها و درصد قرار گرفتن داده هاي ورودي در خوشه ها ، جهت تجزيه و تحليل استفاده مي شود .

تحليل پيوند

در اين روش پيوند هايي مرسوم به بستگي^[16] ميان رکوردها و يا مجموعه اي از رکوردها بازشناسي مي شوند . سه رده ويژه از تحليل پيوند وجود دارند که عبارتند از :

1. کشف بستگي^[17]

2. کشف الگوهاي متوالي^[18]

3. کشف دنباله هاي زماني مشابه^[19]

براي قوانين وابستگي دو پارامتر معرفي مي گردند :

1. درجه پشتيباني^[20] : کسري از جمعيت است که در يک قاعده ، هم مقدم و هم تالي را دارند . در واقع درصدي از تراکنشها که شامل همه اقلام ظاهر شده در مقدم و تالي باشند . فرض کنيم که تنها در0001/ . % از تراکنشهاي خريد ، شير و پيچ گوشتي با هم باشند ، بنابراين درجه پشتيباني براي قانون " پيچ گوشتي → شير " بسيار پايين است . اين مساله نشان مي دهد که مدرکي براي اثبات رابطه ميان " شير" و " پيچ گوشتي " وجود ندارد .

2. درجه اطمينان^[21] : در يک جمعيت مورد بررسي ، کسري از موارد است که وقتي مقدم قاعده در آنها ظاهر شده است ، تالي نيز در آنها وجود دارد . به عنوان مثال در قانون " پنير → نان " اگر درجه اطمينان برابر 80% تراکنشهاي خريد ، اگر نان وجود داشته باشد ، پنير نيز وجود دارد . بايد توجه داشت که مقدار درجه اطمينان با تعويض مقدم و تالي در قاعده ، ممکن است به شدت تغيير کند .

دامنه اندازه پايگاه هاي داده امروزه به ترا بايت رسيده است اين پايگاه داده به همراه اطلاعات فراواني که به صورت ناشناخته در آن تعبيه گرديده مي بايشد مساله اين است که چگونه مي توان از ميان اين جنگل عظيم اطلاعاتي به همراه درختهاي پيچيده آن اطلاعاتي را استنتاج نمود؟با استفاده از داده کاوي مي توان اين هزينه را کم نمود و در عوض بازدهي بيشتري بدست آورد.در حال حاضر شرکتهاي بي شماري سعي دارند با استفاده از اين روش به مشتريان خود پيشنهادات بهتري براي خريد ارائه دهند تا فروش آنها بالاتر رفته و در عوض ضرر و زيان موجود از اين طريق کمينه گردد.

داده کاوي فرآيندي است که طي آن با استفاده از انواع مختلف ابزار تحليل داده به دنبال کشف الگوها و ارتباطات ميان داده هاي موجود که ممکن است منجر به استخراج اطلاعات جديدي از پايگاه داده گردند مي باشد.

اولين وساده ترين گام تحليل داده در داده کاوي توضيح و شرح مشخص داده (از جمله معني داده وانحراف استاندارد کلمه)مي باشد که اين کار مي تواند به وسيله نمدارها و گراف هاييوهمچنين کلماتي که با اين کلمه ارتباط معنايي نزديکي دارند انجام گردد در نيجه جمع آوري جستجو و انتخاب داده درست در اين بخش بسيار مهم و حياتي مي باشد.

اما اين کار به تنهايي کار خاصي انجام نمي دهد شما بايد يک مدل پيش بيني کننده بر اساس الگهايي که از نتايج دانش به دست آورده شده بسازيد سپس آزمايش کنيد که آيا ان مدل با نمونه اصلي سازگار است يک مدل خوب نبايد با جهان واقع تفاوت چنداني داشته باشد.[1]

آخرين گام نيز تشخيص صحت وسقم عملکرد مدل بصورت تجربي مي باشدم.براي مثال از يک بانک مربوط به مشتريان وپاسخ هايي که به يک پيشنهاد خاص داده اند يک مدل مي سازيد که بر اساس آن مشخص مي شود که کدام حدس وانتظار بيشترين نزديکي را با يک پيشنهاد مانند پيشنهاد قبلي دارد و اينکه آيا شما مي توانيد بر اين حدس اعتماد کنيد يا نه؟

قابليتهايDataMining:

بايد توجه داشته باشيد كه داده كاوي يك ابزار جادويي نيست كه بتواند در پايگاه داده شما به دنبال الگوهاي جالب بگردد و اگر به الگويي جديدي برخورد كرد آن را به شما اعلام كند بلكه صرفا الگوها و روابط بين داده ها را به شما اعلام مي كند بدون توجه به ارزش آنها. بنابراين الگوهايي كه به اين وسيله كشف مي شوند بايد با جهان واقع تطابق داشته باشند. به عنوان مثال داده كاوي مي تواند با تعيين نرخ در آمدهايي كه بطور مثال بين 50/000$ و 65/000$ است كه براي خريد روزنامه خاصي در ميان فروشندگان است تعيين كند كه اكثر كالاهاي مورد نياز مردم چه رنجي از قيمت بوده وكدام ها هستند؟

به اين ترتيب شما مي توانيد از هدف خريد مردم بدون اينكه فاكتورهايي براي خريد كالاهاي خود در نظر بگيريد مطلع شويد؟

براي تضمين بدست آمدن نتايج با معني لازم است كه شما بتوانيد داده هاي خود را تحليل كنيد كيفيت خروجي شما به اطلاعات خارج از پايگاه داده ( به عنوان مثال داده اي باارزشي كه متفاوت از داده هاي نوعي در پايگاه داده شماست) ستونهاي ظاهرا بي ارتباط يا با ارتباط نزديك به بقيه پايگاه داده(مانند تاريخ توليد يا انقضاي كالا) بستگي نزديكي دارند .الگوريتم بر اساس حساسيتشان به داده ها روشهاي متفاوتي دارند. اما غير عاقلانه است كه به محصول داده كاوي صرفا به براي تمام تصميم گيري هايمان تكيه كنيم.

داده كاوي بطور اتوماتيك و بدون رهنمايي قادر به كشف راه حل ها نيست. شما ترجيحا به جاي بيان يك هدف مبهم مانند "كمك به ارتقاي پاسخ دهي به در خواست ها mailمن " شما بايد از داده كاوي براي يافتن خصيصه هاي افرادي كه

(1):به درخواست هاي شما پاسخ مي دهند

(2):به درخواست هاي شما پاسخ داده و خريد زيادي مي كنند

استفاده كنيد. الگو هايي كه داده كاوي براي يافتن به اين دو هدف استفاده مي كنند متفاوت است.

اگر چه يك ابزار خوب براي داده كاوي شما را از پيچيدگي هاي تكنيكهاي آماري راحت مي سازد اما به شما براي فهميدن كار هاي ابزاري كه انتخاب كرده ايد و همچنين الگوريتمهايي كه بر پايه آن كار مي كند نيازمند است. انتخابي كه شما براي ابزار مورد نياز انجام مي دهيد و بهينه سازي هايي را كه شما انجام مي دهيد در دقت و سرعت كار بسيار تاثير دارد.[2]

داده كاوي و انبار داده ها :

اغلب داده اي كه مورد كاوش قرار مي گيرد ابتدا از يك انبار داده آماده شده به داخل يك پايگاه داده كاوي سرازير مي شود. اين كار مزاياي زيادي دارد. پايگاه داده كاوي مي تواند به جاي يك انبار فيزيكي داده يك انبار منطقي از داده ها باشد. به شرط آنكه انبار دادهDBMSبتواند دامنه هاي منابع اضافي از داده كاوي را نيز پوشش دهد. روند شرح داده شده در شكل زير آمده است:

Data Sources

Data Mining

Data Mart

Geographic

Data Mart

Data

Warehouse

Analysis

Data Mart

داده كاوي و OLAP:

يكي از سوالهاي رايج در ميان متخصصان پردازش داده در مورد تفاوت ميان داده كاوي وOLAP(پردازش آناليزي on-line) .

Olapقسمتي از قالب ابزارهاي تصميم گيري است. پرس وجو هاي سنتي و ابزارهاي گزارش گيري كه چه چيزي در داخل يك پايگاه داده است.olap از اين فراتر ميرود و براي جواب دادن به علت درستي برخي موارد استفاده دارد.

داده كاوي , آمار و يادگيري ماشين

داده كاوي فوايدي از پيشرفتهاي رشته هوش مصنوعي را در خود جاي داده است كه هم شامل قواعدي براي مسائل تشخيص الگو و طبقه بندي مي باشد وهم ارتباطاتي كه از طريق كاربرد شبكه هاي عصبي و درختهاي تصميم گيري براي فهم مسائل صورت مي گيرد مي باشد.

داده كاوي در اين زمينه داراي الگوريتم هاي نسبتا جديدي مانند شبكه عصبي و درخت تصميم ورهيافت هاي جديدي براي الگوريتم هاي قديميتر مانند الگوريتم هاي تفكيك كننده دارد.

نكته مهم آنكه داده كاوي كاربرد اين تكنيكها را براي مسائل تجاري مشابه بالا به طريقي كه اين تكنيكها را براي كاربر خبره دانش و آمارگير متخصص قابل دسترس سازد استفاده مي شود.

كاربردهاي داده كاوي

داده كاوي به سرعت در حال محبوبيت است به خاطر كمك هاي اساسي آن.

سازمانهاي زيادي در حال استفاده از داده كاوي براي كمك به مديريت تمام فازهاي ارتباط با مشتري شامل به دست آوردن مشتريان جديد, افزايش سود از طريق مشتريان موجود و حفظ كردن مشتريان خوب هستند.با تعيين مشخصات يك مشتري خوب يك شركت مي تواند با همان مشخصات اهداف آينده خويش را پيش بيني كند. با پرونده سازي براي مشتري كه يك محصول خاص را خردي مي نمايد اين شركت مي تواند توجه خود را به مشتريان مشابهي كه از اين محصول خريد نكرده اند معطوف دارد با پرونده سازي براي مشترياني كه اين سازمان را ترك كرده اند يك شركت مي تواند مشترياني را كه خطر رفتن آنها نيز وجود دارد را نگه دارد چرا كه نگهداري يك مشتري موجود بسيار كم هزينه تر از بدست آوردن يك مشتري جديد هزينه مي برد. داده كاوي ارزشهايي را از طريق بررسي يك طيف وسيعي از كارخانه ها پيشنهاد مي كند.شركتهاي ارتباطات از راه دور و كارت هاي اعتباري دو شاخه بزرگ در استفاده از داده كاوي براي تشخيص استفاده كلاه بردارانه از خدمات آنها مي باشند. شركتهاي بيمه و درآمد هم علاقمند به استفاده از اين تكنولوژي براي كاهش كلاه برداري مي باشند. كاربردهاي دارويي نواحي مفيد ديگري هستند كه داده كاوي در آنها دست دارد داده كاوي مي تواند براي تشخيص تاثير اعمال جراحي, آزمايش هاي دارويي ودرمان استفاده گردد. شركتهايي كه در خريد و فروشهاي مالي فعاليت مي كنند از داده كاوي براي تعيين شاخصه هاي بازار و صنعت براي تشخيص كارايي درآمد استفاده مي كنند. خرده فروشها از داده كاوي براي تصميم در مورد اينكه كدام محصول در فروشگاه ها در آمد زاست به منظور دسترسي به ارتقاي كيفيت كار خود استفاده بيشتري مي نمايند. شركتهاي دارويي در حال كاوش پايگاههاي داده بزرگي از تركيبات شيميايي و مواد ژنتيكي براي كشف مواد كه مي توانند گزينه خوبي براي ساخت به عنوان دارو باشند.[1]

داده كاوي موفق:

دو نكته براي موفق بودن يك داده كاوي وجود دارد. اول اينكه يك فرموله سازي دقيق از مساله اي است كه شما بايد حل كنيد. دومين نكته استفاده از داده صحيح است. پس از انتخاب داده اي كه در دسترس شماست يا شايد خريد داده خارجي شما ممكن است نيازمند شويد آن را به روشهايي انتقال داده يا دسته بندي كنيد.

تحليل ارتباطات:

تحليل ارتباط يک رهيافت توصيفي براي اکتشاف داده است که مي تواند به مشخص سازي ارتباطات ميان مقادير در پايگاه داده کمک نمايد.دو رهيافت عام براي رسيدن به تحليل ارتباطي اکتشاف ارتباطي و اکتشاف توالي مي باشد.اکتشاف ارتباطات قوانيني را در مورد مواردي را که بايد با هم در يک رويداد ظاهرشوند مانند تراکنش خريد را مي ِابد.تحليل سبد عرضه يک نمونه شناخته شده از کشف ارتباط مي باشد.کشف توالي بسيبار شبيه کشف ارتباط است با توجه به اين نکته که در اينجا توالي يک ارتباط است که در طول يک بازه زماني صورت مي گيرد.

ارتباطات به صورت A=>B نوشته مي شود که به A مقدم يا طرف سمت چپ و به B تالي يا طرف سمت راست مي گويند.براي مثال در قانون ارتباطي "اگر مردم يک چکش بخرند آنگاه مي توانند ميخ بخرند" جمله مقدم "خريد چکش" و جمله تالي "خريد ميخ" مي باشد.

براحتي ميتوان نسبت تراکنشهايي را که شامل مورد يا ليستي ازموارد خاص مي باشد با شمردن آنها تعيين کرد (که در اطنجا موارد ميخ ها و چکش هامي باشد) را تعيين کرد.تعداد موجود از يک نوع ارتباط خاص که در يک پايگاه داده به نظر مي رسد را موجودي يا شيوع آن مورد مي گويند.اگر براي مثال گفته شود که از هر 1000تراکنش 15 تاي آن شامل "ميخ و چکش" مي باشد موجودي اين ارتباط 1.5%خواهد بود.يک موجودي کم(مثلا يک در ميليون) مي تواند بيانگر اين باشد که ان ارتباط خاص در پايگاه داده چندان مهم نيست.

براي کشف قوانين معنا دار ما بايد به فراواني متناسب دفعات اتفاق موارد و ترکيباتشان نيز بنگريم.باداشتن تعداد دفعات اتفاق مورد A مورد B چند بار اتفاق مي افتد؟به عبارت ديگر سوال اين است که ببينيم "هنگامي که مردم يک چکش مي خرند چه تعداد از اين افراد ميخ هم مي خرند؟ عبارت ديگر براي اين پيش بيني شرطي اطمينان نام دارد.

فرض کنيد پايگاه داده فرضي مان رابه صورت زير و با جزئيات بيشتر براي بيان اين مفاهيم در نظر بگيريم:

تمام تراکنشهاي سخت افزار :1000

تعداد تراکنشهايي که شامل "چکش " مي باشد:50

تعداد تراکنشهايي که شامل "ميخ" مي باشد:80

تعداد تراکنشهايي که شامل "تخته " مي باشد:20

تعداد تراکنشهايي که شامل " ميخ و چکش"مي باشد:15

تعداد تراکنشهايي که شامل " ميخ و تخته " مي باشد:10

تعداد تراکنشهايي که شامل " چکش و تخته" مي باشد:10

تعداد تراکنشهايي که شامل " چکش و تخته و ميخ " مي باشد:5

حال قادر به محاسبه ايم:

موجودي "ميخ و چکش"=1.5%

موجودي " ميخ و چکش وتخته"=0.5%

درصد اطمينان "چکش=>ميخ" = 30%

درصد اطمينان " ميخ=> چکش" = 19%

درصد اطمينان " چکش و ميخ=>تخته" = 33%

درصد اطمينان " تخته=> چکش و ميخ " =25%

بنابراين ما مي بينيم که احتمال اينکه يک خرنده چکش ميخ هم بخرد(30%) بيشتر از احتمال آن است که فردي که ميخ مي خرد چکش هم بخرد(19%).ارتباط چکش و ميخ به اندازه اي بزرگ است که يک قانون با معني باشد.

Lift(نسبتا پيشرفت) يکي از معيارهاي اندازه گيري قدرت يک ارتباط است.هر چه lift بزرگتر باشد تاثير اتفاقات A بر احتمال اينکه B اتفاق بيفتد بيشتر است.lift بصورت نسبت

(اطمينان A=>B) تقسيم بر فراواني B محاسبه مي شود:

براي مثال ما:

Lift "چکش=>ميخ" :3.75

Lift " چکش و ميخ =>تخته ":16.5

الگوريتمهاي ارتباط اين قوانين را با معادل مرتب سازي داده هنگام شمارش دفعاتي که مي توانند درصد اطمينان و موجودي را محاسبه كنند مي يابد. اثراتي كه هر يك از اين قوانين مي توانند داشته باشند يكي از معيارهاي تفاوت اين الگوريتم هاست. اين معيار مهم است زيرا كه نتايج تركيبي بسيار زيادي از تعداد بي شماري از قوانين بدست مي آيد حتي براي سبد هاي خريد. برخي از الگوريتمها يك پايگاه داده از قوانين, فاكتورهاي ايمن, و فراهم آوردن امكان جستجو(براي مثال تمام ارتباطاتي كه در آن كلمه بستني در قوانين به عنوان نتيجه آمده و فاكتوري برابر80%را دارند نشان بده)را ايجاد مي نمايند.

اغلب تصميم گيري در مورد كار با قوانيني كه شما كشف كرده ايد دشوار است.به عنوان مثال در يك نقشه خريد براي مشتريان در يك فروشگاه قراردادن تمام اجناس مرتبط منطقي به صورت فيزيكي در كنار يكديگر ممكن است ارزش كامل سبد خريد را كاهش دهد – مشتريان ممكن است در مجموع ارزش كمتري خريد كنند چون آنها بر خلاف نقشه خريد مورد نظر شما در حين راه رفتن در مغازه اجناس مورد دلخواه خود را خريد مي كنند. در چنين حالتي تقريب و تحليل ارتباطات معمولا براي بدست آوردن هر گونه سودي از قوانين مرتبط با هم مورد نياز خواهد بود.

روشهاي گرافيكي مي توانند در نمايش ساختار ارتباطات نقش داشته باشند. در شكل زير هر يك از دواير يك مقدار يا يك رويداد را نمايش مي دهد. خطوط ارتباطي ميان اين دايره ها يك ارتباط را نشان مي دهند. خطوط كلفت تر ارتباطات قوي تر و فراوان تري را نمايش مي دهند.[4]

سلسله مراتبي از انتخاب ها

هدف داده كاوي توليد دانش جديدي است كه كاربر بتواند بر اساس آن كار خود را جلو برد.اين كار بوسيله ساختن مدلي از جهان واقعي بر پايه داده هايي كه از منابع گوناگون بدست مي آيد صورت گيرد كه اين منابع مي تواند شامل تراكنشهاي هماهنگ, تاريخ مربوط به هر مشتري, اطلاعات نمايش گرافيكي, داده كنترل فرآيند و پايگاه داده هاي مرتبط خارجي مانند اطلاعات اعتبار اداري و ... باشد. نتيجه مدل سازي يك سري توضيحات در مورد الگوها و ارتباطات داده اي كه مي تواند به صورت مطمئني جهت پيش بيني آينده مورد استفاده قرار گيرد.

براي جلوگيري از سرگرداني در مراحل مختلف داده كاوي ايجاد تصويري از سلسله مراتبي از انتخابات و تصميم ها كه نياز مند آن هستيد در ذهن قبل از شروع كار به شما كمك خواهد كرد:

- هدف كار

-نوع پيش بيني

-نوع مدل انتخابي

-الگوريتم

-محصول

اولين گام مشخص نمودن هدف كار مي باشد :

هدف نهايي از جستجوي اين داده چيست؟ براي مثال جهت يافتن الگوهاي مفيدي در داده خود براي اين كه به شما كمك كند مشتريان خود را حفظ كنيد شما بايد يك مدل براي پيش بيني سودبخشي به مشتري و مدل ديگري براي شناسايي مشترياني كه آنجا را ترك كرده اند طراحي كنيد. دانش شما از احتياجات و اهداف سازمانتان شما را به سمت فرموله كردن اهداف مدلهايتان راهنمايي خواهد كرد.

گام بعدي تصميم در مورد انتخاب نوعي پيش بيني كه از همه مناسب تر است مي باشد:

(1)طبقه بندي: تعيين اين كه اين مورد خاص در كدام كلاس يا دسته قرار مي گيرد.

(2)حدس زدن اينكه يك متغير چه مقدار عددي خواهد داشت(اگر متغيري باشد كه با زمان تغيير كند اين كار حدس سريهاي زماني ناميده مي شود).در مثال بالا شما مي توانيد از اين حدس براي پيش بيني مقدار سوددهي و طبقه بندي براي پيش بيني اينكه كدام مشتريان ممكن است خريد شما را ترك كنند استفاده كنيد.

حالا نوبت به نوع مدل مي رسد:

كه عبارت است از يك شبكه عصبي براي انجام حدس فوق الذكر و يك درخت تصميم براي طبقه بندي. مدلهاي آماري سنتي نيز براي انتخاب از مدلهاي معمولي خطي , تحليل تفكيكي و حدس منطقي وجود دارد. مهمترين نوع اين مدلها براي داده كاوي در بخش بعد(الگوريتمها و مدلهاي داده كاوي)توضيح داده مي شود.

الگوريتمهاي زيادي براي ساخت مدلهايتان در دسترس هستند. شما مي توانيد با استفاده از توابع شعاعي يا انتشاري شبكه عصبي بسازيد. براي درخت تصميم شما مي توانيد از ميان طرق cart, c5.0, Quest,CHAIDيكي را انتخاب كنيد. برخي از اين الگوريتم ها در مدلها و الگوريتمهاي داده كاوي توضيح داده شده است.

هنگام انتخاب يك محصول داده كاوي بايد توجه داشت كه اين محصولات پياده سازيهاي مختلفي از يك الگوريتم خاص دارند حتي اگر اين الگوريتم براي همه آنها نام يكساني داشته باشد.اين تفاوتها در پياده سازي مي تواند بر روي مشخصه هاي قابل استفاده مانند استفاده از حافظه و ذخيره داده و همچنين بر روي مشخصه هاي كارايي مانند سرعت و دقت تاثير بگذارند.

بسياري از اهداف تجاري به بهترين شكل به وسيله ساخت انواع مختلفي از مدلها با استفاده از الگوريتمهاي مختلف به دست مي آيند. شما ممكن است تا زماني كه راه هاي مختلفي را امتحان نكنيد قادر نباشيد تعيين كنيد كدام نوع مدل بهترين است.[1]

طبقه بندي

مسائل طبقه بندي به شناسايي خصوصياتي منجر مي شوند كه مشخص مي نمايند هر مورد به كدام گروه تعلق دارد.اين الگو هم مي تواند براي فهم داده موجود و هم براي پيش بيني اينکه هر نمونه جديد چگونه کار مي کند استفاده شود. براي مثال شما ممکن است بخواهيد پيش بيني کنيد که آيا اشخاص براي پاسخگويي به درخواست يک ميل مستقيم که ممکن است به يک دستگاه تلفن با مسافت زياد آسيب برساند مي توانند گروه بندي شوند يا براي يک عمل جراحي بايد گروه بندي شوند.

داده کاوي مدلهاي طبقه بندي را بوسيله امتحان کردن داده طبقه بندي شده(موارد) و نهايتا يافتن يک الگوي پيش گو ايجاد مي کند.اين موارد موجود مي تواند از يك پايگاه داده تاريخي ناشي شود مانند اطلاعات افرادي كه تحت معالجه دارويي خاصي هستند و يا به سمت يك خدمت با مسافت دور جذب شده اند.يا اينكه از تجربه هايي كه طي آن يك نمونه از تمام پايگاه داده در جهان واقعي تست شده باشد و نتايج آن براي ايجاد يك گروه بند استفاده شده باشند منتج شود. براي مثال يك نمونه از ليستي از پيامها به عنوان پيشنهاد فرستاده خواهد شد و نتايج پيام رساني براي ساخت يك مدل طبقه بندي جهت بكار گرفته شدن در تمام پايگاه داده استفاده خواهد شد.

حدس بازگشتي

حدس بازگشتي از داده هاي موجود براي پيش بيني اين كه مقادير داده هاي ديگر چه خواهد بود استفاده مي كند. در ساده ترين حالت حدس مذكور از تكنيكهاي آماري مانند حدس خطي استفاده مي كند. متاسفانه بسياري از مسائل جهان واقع تصويري خطي از مقادير قبلي نيستند. براي نمونه مقادير فروش, ارزش فروش, ارزش سهام و نرخ ورشكستگي محصول براي پيش بيني سخت مي باشد زيرا آنها ممكن است بر فعل و انفعالات پيچيده حاصل از چندين متغير پيش بيني كننده متكي باشند. بنابراين تكنيكهاي پيچيده تري ممكن است براي پيش بيني متغيرهاي آينده ضروري باشند. انواع مدل يكسان اغلب مي توانند هم براي حدس بازگشتي وهم براي طبقه بندي استفاده شوند. براي مثال الگوريتم درخت تصميم CART (درختهاي حدس وطبقه بندي )هم براي ساخت درختهاي حدس و هم براي ساخت درختهاي طبقه بندي به كار مي رود. شبكه هاي عصبي هم مي توانند هر دو نوع مدل نام برده شده را ايجاد نمايند.

سري هاي زماني

سري هاي زماني پيش بيني كننده مقاديري را كه هنوز مقدارشان مشخص نيست بر اساس يك سري از پيشگوهاي متغير با زمان پيش بيني مي كنند. مانند حدس بازگشتي اين روش هم از نتايج معلوم قبلي براي اعمال پيشگويي هاي بعدي اش بهره مي برد. مدلها بايد خواص منحصر بفرد زمان علي الخصوص سلسله مراتب دوره هاي زماني مانند دوره هاي فصلي تاثيرات تقويمي مانند تعطيلات محاسبات تاريخي و ملاحظات خاص مانند تطبيق گذشته با حال را ذخيره نمايند.

مدلها و الگوريتمهاي داده كاوي

حال بياييد برخي از الگوريتمها و مدلهايي را كه براي كاوش داده استفاده مي شود را بررسي كنيم. اغلب محصولات از انواع گوناگوني از الگوريتمها كه در علم كامپيوتر يا مقالات آماري ارائه شده به همراه پياده سازي خاص آنها كه جهت رسيدن به هدف فروشنده مي باشد استفاده مي نمايند. براي مثال بسياري از فروشندگان نسخه هايي از درختهاي تصميم CARTيا CHAIDرا به همراه امكاناتي براي كار بر روي كامپيوترهاي موازي مي فروشند. برخي از فروشندگان الگوريتمهاي مختص خود دارند كه گرچه ممكن است وابستگي ها يا امكانات اضافي نداشته باشد اما مي تواند خوب كار كند.

شايد مهمترين نكنه اي باشد كه هيچ مدل يا الگوريتمي نمي تواند و نبايد به تنهايي استفاده شود. براي هر مساله داده شده طبيعت داده استفاده شده بر روي انتخاب مدلها و الگوريتمهايي كه شما بر مي گزينيد تاثير خواهد گذاشت. نمي توان هيچ مدل يا الگوريتمي را در اين زمينه بهترين ناميد. نتيجتا شما به يك سري ابزار و تكنولوژي جهت يافتن بهترين مدل ممكنه نياز خواهيد داشت.[3]

شبكه هاي عصبي

شبكه هاي عصبي به طور خاصي مورد استفاده اند چرا كه آنها ابزاري موثر براي مدلسازي مسائل بزرگ و پيچيده كه ممكن است در آنها صدها متغير پيش بيني كننده كه فعل و انفعالات زيادي دارند وجود داشته باشد.(شبكه هاي عصبي زيستي بطور غير قابل مقايسه اي پيچيده تر هستند.)شبكه هاي عصبي مي توانند در مسائل طبقه بندي يا حدسهاي بازگشتي(كه در آنها متغير خروجي پيوسته است) استفاده شوند.

يك شبكه عصبي با يك لايه داخلي شروع مي شود كه در آن هر گره به يك متغير پيشگو منسوب مي گردد. اين گره هاي ورودي به يك تعداد از گره ها در لايه پنهان متصل مي شوند.گره ها در لايه پنهان مي توانند به گره هايي در يك لايه پنهان ديگر يا به يك لايه خروجي متصل شود. لايه خروجي خود شامل يك يا بيشتر متغيرهاي جواب مي باشد.

يك شبكه عصبي با يك لايه پنهان

درخت هاي انتخاب

درخت هاي انتخاب راهي براي نمايش يك سري از قوانين كه به يك كلاس يا مقدار منجر مي شود مي باشند. براي مثال شما ممكن است بخواهيد درخواستهاي وام را برحسب ريسك اعتبار خوب يا بد طبقه بندي كنيد. شكل بعد يك مدل ساده از يك درخت انتخاب به همراه توضيح در مورد تمام بسته هاي پايه آن يعني گره انتخاب, شاخه ها و برگهاي آن كه اين مساله را حل مي كند نشان مي دهد.

اولين بسته گره بالايي تصميم يا ريشه مي باشد كه يك بررسي جهت برقراري شرط خاصي مي نمايد. گره ريشه در اين مثال “Income>$40,000” مي باشد. نتايج اين بررسي منجر مي شود كه درخت به دوشاخه تقسيم گرددكه هر يك نشان دهنده جوابهاي ممكن است.در اين مورد بررسي شرط مذكور مي تواند داراي جواب خير يا بله باشد در نتيجه دو شاخه داريم.

براساس نوع الگوريتم هر گره مي تواند دو يا تعداد بيشتري شاخه داشته باشد. براي مثال CARTدرختهايي با تنها دوشاخه در هر گره توليد مي كند.چنين درختي يك درخت دودويي مي باشد.

مدلهاي مختلف درخت تصميم بطور عمومي در داده كاوي براي كاوش داده و براي استنتاج درخت و قوانين آن كه براي پيش بيني مورد استفاده قرار مي گيرد استفاده مي شوند. يك تعداد از الگوريتمهاي مختلف مي توانند براي ساخت درختهاي تصميم شامل CHAID, CART,Quest وC5.0بكار روند.

اندازه درخت مي تواند از طريق قوانين متوقف شونده كه رشد درخت را محدود مي كنند كنترل شود.[3]

استنتاج قانون

استنتاج قانون روشي براي بدست آوردن يك سري از قوانين براي طبقه بندي موارد مي باشد. اگرچه درختهاي تصميم مي توانند يك سري قوانين توليد كنند روشهاي استنتاج قانون يك مجموعه از قوانين وابسته كه ضرورتا درختي تشكيل نمي دهند را توليد مي نمايد. چون استنتاج كننده قوانين لزوما انشعابي در هر سطح قرار نمي دهد و مي تواند گام بعدي را تشخيص دهد گاهي اوقات مي تواند الگوهاي مختلف و بهتري را براي طبقه بندي بيابد. برخلاف درختان قوانين توليدي ممكن است تمام حالتهاي ممكن را پوشش ندهند.

الگوريتمهاي ژنتيك

الگوريتمهاي ژنتيك براي يافت الگوها استفاده نمي شود بلكه بيشتر به منظور راهنمايي در مورد فرآيند يادگيري الگوريتمهاي داده كاوي مانند شبكه هاي عصبي مورد استفاده قرار مي گيرد.الگوريتمهاي ژنتيك به عنوان يك متد جهت انجام يك جستجوي هدايت شده براي مدلهاي خوب در فضاي حل مساله عمل مي كند.

اين الگوريتمها, الگوريتمهاي ژنتيك ناميده مي شوند چون بطور بي قاعده اي الگوي تكامل زيستي كه در آن اعضاي يك نسل بر سر انتقال خصوصيات خود به نسل بعد رقابت مي كنند تا نهايتا بهترين مدل يافت شود را دنبال مي كنند. اطلاعاتي كه بايد انتقال داده شود در قالب كروموزمها كه شامل پارامترهايي براي ساختن مدل مي باشد قرار مي گيرد.

فرآيند داده كاوي

مدلهاي فرآيند

با توجه به اينكه يك فرآيند سيستماتيك براي داده كاوي موفق ضروري است بسياري از فروشندگان و همفكران مشاور آنها يك مدل فرآيند براي راهنمايي كاربر خود كه از طريق يك سري مراحل مشخص او را به نتايج خوبي هدايت خواهد كرد طراحي كردند. براي مثال SPSSاز مراحل پنجگانه تشخيص دسترسي تحليل عمل و اتوماسيون و SASاز مراحل نمونه گيري, جستجو, تغيير و بهبود, مدل سازي و تعيين استفاده مي نمايد.

اخيرا ائتلاف فروشندگان وكاربران شامل سيستمهاي مهندسي NCRكپنهاك, راه حلهاي جامعSPSS و بانك OHRAدر حال ساختن يك فرآيند خاص كه به فرآيند استاندارد صنعتي داده كاوي (CRISP-DM) موسوم است مي باشند. اين فرآيند براي پردازش مدلهاي شركتهاي ديگر كه يك كاره يا دو كاره هستند يكسان مي باشد. اين فرآيند شروع خوبي براي كمك به مردم جهت فهم مراحل ضروري در داده كاوي موفق مي باشد.[1]

مدل فرآيند دو سويه

مدل فرآيند دو سويه كه در زير توضيح داده شده است برخي از موارد پيش بيني را از مدل CRISP-DMبه ارث مي برد.

گامهاي اصلي داده كاوي جهت كشف دانش عبارتند از:

1- تعريف مساله

2- ساختن پايگاه داده مربوط به داده كاوي

3- جستجوي داده

4- آماده ساختن داده براي مدل سازي

5- ساختن مدل

6- ارزيابي مدل

7- ساخت مدل ونتايج

به سراغ اين گامها مي رويم تا فرآيند كشف دانش را بهتر متوجه شويم.

1- تعريف مساله

در ابتداي امر پيش زمينه كشف دانش فهم درست داده و مساله مي باشد. بدون اين فهم درست هيچ الگوريتمي صرف نظر از خبره بودن آن نمي تواند نتيجه مطمئني براي شما حاصل نمايد و همچنين شما قادر نخواهيد بود كه مسائلي را كه سعي در حل آن داريد تعريف كرده و همچنين داده را جهت كاوش آماده نموده و يا نتايج را به طور صحيح تفسير نمائيد.براي استفاده بهتر از داده كاوي شما بايد يك بيان واضح از هدف خود داشته باشيد.[1]

ساختن يك پايگاه داده داده كاوي

اين گام به همراه دو گام بعدي هسته آماده سازي داده را تشكيل مي دهند. در مجموع گامهاي گفته شده وقت و كار بيشتري از ساير گامها مي برند. ممكن است شما گامهاي تكراري در آماده سازي داده و ساختن مدل داشته باشيد چرا كه در هر مرحله ممكن است به نكته اي برسيد كه شما را بر آن دارد داده خود را بهبود بخشيد. اين گامهاي آماده سازي داده مي تواند 50% تا 90% وقت و كار از تمام فرآيند كشف دانش را به خود اختصاص دهد.

داده اي كه مي خواهد كاوش شود بايد در يك پايگاه داده ذخيره شود. بر اساس مقدار داده, پيچيدگي داده و استفاده هايي كه قرار است از آن شود يك فايل معمولي و يا يك SpreadSheet براي اين كار كافي است.

به احتمال زياد شما مي خواهيد داده موجود در انباره داده را تغيير دهيد. به علاوه شما ممكن است بخواهيد فيلدهاي جديدي كه از فيلدهاي موجود محاسبه شده است را به انبار داده خود بيافزاييد.اين يكي از دلايل استفاده از يك پايگاه داده جداگانه است.

دليل ديگر براي اين كار آن است كه انبار داده هاي يكي شده ممكن است به آساني انواع جستجوهايي را كه شما براي فهم داده به آنها نياز داريد انجام ندهد. مانند پرس و جوهايي كه داده را خلاصه مي كند, گزارشات چند بعدي و بسياري از انواع ديگر از گرافها يا مصورات.

و دليل آخر اينكه شما ممكن است بخواهيد اين داده را در يك سيستم مديريت پايگاه داده به همراه يك طراحي فيزيكي متفاوت از انبار داده خود ذخيره كنيد. مردم به طور روز افزوني در حال انتخاب پايگاه داده هاي خاص منظوره اي هستند كه اين نيازهاي داده كاوي را به نحو مناسبي حمايت كند. به هرحال اگر داده موجود در انبار داده شما اجازه مي دهد كه مراكز منطقي داده اي ايجادكنيد و اگر شما مي توانيد تقاضاي داده كاوي را ارضا نماييد پايگاه داده شما به خوبي وظيفه خود را انجام مي دهد.[2]

مراحل لازم براي ساخت يك پايگاه داده داده كاوي به شكل زير مي باشد:

1- جمع آوري داده ها

2- توضيح داده ها

3- انتخاب داده ها

4- تعيين كيفيت داده ها و پاك كردن آن

5- تثبيت و يكپارچگي

6- ساختن فوق داده (داده هايي كه خود بيانگر توضيحي در مورد داده هاي موجود مي باشند.)

7- باركردن پايگاه داده مربوط به داده كاوي

8- نگهداري پايگاه داده مربوط به داده كاوي

اين كارها ممكن است لزوما به همين ترتيب گفته شده انجام نگردند.

جستجوي داده

به بخش توضيح داده براي داده كاوي كه توضيح مختصري راجع به اشكال, تجزيه و تحليل ارتباط و ديگر وسايل جستجوي داده مي باشد نگاهي بياندازيد.

هدف شناسايي مهمترين فيلدها در پيش بيني نتيجه و تعيين اينكه كدام يك از داده هاي بدست آمده مفيد مي باشد است.

در يك مجموعه داده اي با صدها يا حتي هزاران ستون جستجوي داده مي تواند كار و زمان بر باشد. يك واسط مناسب و جواب كامپيوتر سريع در اين فاز مهم و حياتي مي باشند زيرا هنگامي كه شما براي دريافت پاسخ برخي گراف ها مجبور باشيد 20 دقيقه صبر كنيد ماهيت جستجوي شما به كلي تغيير خواهد كرد.

آماده سازي داده براي مدل سازي

اين آخرين گام آماده سازي داده قبل از ساخت مدلهاست. چهار قسمت مهم در اين مرحله وجود دارد:

1- انتخاب متغيرها

2- انتخاب سطرها

3- ساختن متغيرهاي جديد

4- تغيير شكل متغيرها

ساختن مدل داده كاوي

مهمترين مساله براي يادآوري در مورد ساخت مدل آن است كه اين كار يك فرآيند تكراري است. شما براي جستجو به مدلهاي جايگزين جهت يافتن سودمندترين آنها جهت حل مسائلتان نياز داريد. آنچه كه شما در جستجوي يك مدل مناسب ياد مي گيريد مي تواند شما را به بازگشتن به عقب و انجام برخي تغييرات در داده مورد استفاده خود و حتي بهبود بيان ساله راهنمايي كند.

هنگامي كه شما در مورد نوع پيش بيني كه مي خواهيد انجام دهيد تصميم گرفتيد بايد يك نوع مدل براي ساخت تصميم خود انتخاب كنيد.

آماده سازي و آزمايش مدل داده كاوي احتياج به اين دارد كه داده به حداقل دو گروه شكسته شود: يكي براي آماده كردن مدل و ديگري جهت تست مدل مربوطه. اگر شما از آماده سازي و تست متفاوتي استفاده ننمائيد دقت مدل خواهد بود.[1]

تائيد اعتبارساده

پايه اي ترين روش تست داده تاييد اعتبار ساده مي باشد. براي انجام اين كار چون درصدي از پايگاه داده را به عنوان يك تست پايگاه داده كنار بگذاريد و به هر صورت از آن در برآورد و ساخت مدل استفاده ننمائيد. اين درصد معمولا بين 5 تا 33 مي باشد.

ارزيابي و تفسير

تاييد اعتبار مدل

بعد از ساخت يك مدل شما بايد نتايج آن را ارزيابي نموده و همچنين اهميت آن را نيز توضيح دهيد.

ماتريسهاي پيچيدگي

براي مسائل طبقه بندي يك ماتريس پيچيدگي ابزار مفيدي براي فهم نتايج مي باشد. يك ماتريس پيچيدگي تعداد مقادير كلاس (گروه)مجازي را در مقايسه با تعداد مقادير كلاس(گروه) پيش بيني شده نشان مي دهد. نه تنها چگونگي پيش بيني مدل توسط اين ماتريس نشان داده مي شود بلكه نشان دهنده جزئياتي است كه براي نشان دادن موارد اشتباه ضروري است. ستونها كلاسهاي مجازي و سطرها كلاسهاي پيش بيني شده را نشان مي دهند. بنابراين قطرهاي اين ماتريس بيانگر تمام پيش بيني هاي درست مي باشند. در ماتريس پيچيدگي مي بينيد كه مدل ما 38 تا از 46 تا كلاس Bرا به درستي پيش بيني كرده است اما 8 تا از آنها اشتباها كلاس بندي شده اند. 2 تا به عنوان كلاسAو6 تا به عنوان كلاس C مي باشند.

در حالات خاص اگر قيمت هاي گوناگون با اشتباهات مختلفي در ارتباط باشند يك مدل با دقت كمتر ممكن است بر يك مدل با دقت بيشتر و در ضمن قيمت بيشتر به خاطر انواع اشتباهاتي كه ايجاد مي كند ترجيح داده شود. براي مثال فرض كنيد در ماتريس بالا هر جواب درست قيمتي معادل 10 دلار و هر جواب نادرست براي كلاس A 5دلار , براي كلاس B 10 دلار و براي كلاس C 20 دلار داشته باشد. بنابراين هزينه شبكه اي ماتريس معادل:

خواهد داشت.

اما ماتريس شكل بعد را در نظر بگيريد. دقت تا 79% كاهش پيدا كرده است هنگامي كه همان قيمتهاي قبلي را بر روي اين ماتريس اعمال كنيم هزينه كل برابر:

بنابراين اگر بخواهيد مقدار ارزشي مدل را بيشينه كنيد بهتر است كه مدلي با دقت كمتر ولي در عوض با ارزش شبكه اي بيشتر انتخاب نمائيد.[4]

ايجاد معماري مدل و نتايج

هنگامي كه يك مدل ساخته و تاييد اعتبار مي شود مي تواند در دو راه اصلي مورد استفاده قرار گيرد. راه اول براي تحليل گر است كه اعمالي را بر اساس ديد ساده از مدل و نتايج آن معرفي مي كند. راه دوم بكاربردن مدلها در مجموعه داده اي مختلف است. اين مدل مي تواند براي مشخص نمودن ركوردها بر اساس گروه بنديشان و يا مقدار دهي يك امتياز مثلا احتمال انجام يك عمل استفاده گردد.

هنگام به دست آوردن يك كاربرد پيچيده داده كاوي اغلب اگر چه بخش بحراني اما كوچك پروژه نهايي به حساب مي آيد. براي مثال دانشي كه از داده كاوي كشف مي شود مي تواند با دانش متخصصان داده و تراكنشهاي ورودي تركيب شود. در يك سيستم تشخيص فرآيند الگوهاي موجود فرآيند مي توانند با الگوهاي كشف شده تلفيق شوند. هنگامي كه موارد مفروض اين فرآيند براي ارزيابي به بررسي كنندگان فرستاده مي شوند بررسي كنندگان ممكن است نياز داشته باشند كه به ركوردهايي در پايگاه داده كه مربوط به قسمتهاي ادعا شده توسط يك سازنده است دسترسي پيدا كنند.

به طور كلي مراحلي كه توضيح داده شد براي انجام هر فرآيند داده كاوي لازم به نظر مي رسد.

منابع و مراجع:

[1] Introduction to Data Mining and Knowledge Discovery By Two Crows Corporation

[2] Jeffery W. Seifert , Analyst in information science and Technology Policy, ‘Data Mining : An Overview ‘ December 2004.

[3] David J. HAND , Data Mining: Statistics and More? , December 2002.

[4] Eamonn Keogh , Stefano Lonardi , Chotirat Ann Ratanamahatana , ‘Towards Parameter-Free Data Mining ‘ Semtember 2005.

---

[1] Knowledge Discovery

[2] Data Mining

[3] Exploratory Data Analysis

[4] Application Oriented

[5] Active DBMS

[6] Knowledge Discovery From Database

[7] Decision Support System

[8] Workshop

[9] Data Warehousing

[10] Information Gap

[11] Subject Oriented

[12] Integrated

[13] Time Variant

[14] NonVolatile

[15] Clusters

[16] Association

[17] Association Discovery

[18] Sequential Pattern Discovery

[19] Similar time Sequences

[20] Support

[21] Confidence

ترکیب یک تیم اجرای پروژه های هوش تجاری در سازمان های بزرگ

ساختار پیشنهادی من برای ترکیب یک تیم اجرای پروژه های هوش تجاری در سازمان های بزرگ

به همراه شرح وظایف تیم ها

 

مدیر پروژه

1.        تیم سرویس ارزش افزوده

•       - تعریف سرویس های ارزش افزوده

•       -ایجاد و مدیریت سرویس ها

•       - مدیریت دسترسی های سرویس ها

•       -مدیریت کارآیی

•       - مستند سازی

2.       تیم تحلیل

•       - تحلیل داده ها

•       - ساخت کیوب های چند بعدی

•       - ساخت گزارشات تحلیلی

•       - داده کاوی

•       - مستند سازی

3.      تیم انبار داده

•       - معماری انبارداده

•       - مدیریت اطلاعات پایه

•       - یکپارچه سازی داده ها

•       - مدیریت کارآیی انبارداده

•       - مستندسازی

4.       تیم واکشی داده

•       - واکشی اولیه داده ها

•       -واکشی افزایشی(با استفاده از SSIS) بضورت زمانبندی شده

•       -پاکسازی و تبدیل داده ها

•       - انتقال داده ها به انبارداده

•       - مستند سازی

5.      تیم احصاء

•       - برگزاری جلسات شناخت کسب و کار

•       - شناخت سیستم های اطلاعاتی موجود در سازمانها

•       - شناسایی جداول و فیلدهای مورد نیاز

•       -شناسایی حجم تراکنش ها و الزلمات فنی مورد نیاز برای انتقال اطلاعات

•       - مستندسازی