امروزه سازمان ها برای حفظ بقا و کسب مزیت رقابتی بدنبال بهره گیری هر چه بیشتر از داده ها، اطلاعات و دانش موجود در سازمان و محیط سازمان برای بهبود در تصمیم گیری در سطوح عالی، استراتژیک و عملیاتی هستند و این بهبود با استقرار انبارهای داده سازمانی و هوش تجاری برای تجمیع، یکپارچه سازی و تجزیه و تحلیل داده ها و کشف دانش پنهان در اطلاعات سازمان با استفاده از تکنیک های داده کاوی سازمان بدست می آید.
09367292276
09367292276
azsoftir@gmail.com
azsoftir.com
09367292276
09367292276
azsoftir@gmail.com
azsoftir.com
داده کاوی و هوش تجاری با هدف حمایت از مدیران ارشد و میانی در فرآیند تصمیم گیری های استراتژیک انجام می شود.
داده کاوی در حقیقت کشف ساختارهای جالب توجه، غیر منتظره و با ارزش از داخل مجموعه وسیعی از داده ها می باشد و فعالیتی است که اساسا با آمار و تحلیل دقیق داده ها منطبق استف داده کاوی تنها محدود به استفاده از الگوریتم رایانه ای یا یک شیوه آماری نیست؛ بلکه فرآیندی است که بوسیله اطلاعات تکنولوژی جدیدتری یا پشتوانه ای را برای تصمیم گیری ها فراهم می کند.
تکنیک های داده کاوی به دو گروه تقسیم شده استک گروه توصیفی و گروه پیش بینی کننده هر کدام از این گروه ها شامل تکنیک های خاص داده کاوی می باشند.این مجموعه با توجه به دانش تئوریک و عملی توسط کارشناسان خبره با استفاده از تکنیک های خاص داده کاوی و هوش تجاری را پیاده سازی می نماید.
شرکت معماران عصر دانش با استفاده از دانش و تخصص در زمینه هوش تجاری و داده کاوی و بهره گیری از نرم افزارهای کارآمد در زمینه تجمیع اطلاعات و ایجاد یکپارچگی در سطح داده ها و فرآیند های سازمانی و نیز بکارگیری ابزارهای مناسب جهت نمایش خروجی تجزیه و تحلیل و گزارشات مدیریتی در قالب داشبوردهای مدیریتی هوش سازمانی را برای شما به ارمغان خواهد آورد.
خدمات قابل ارائه:
09367292276
09367292276
azsoftir@gmail.com
azsoftir.com
09367292276
09367292276
azsoftir@gmail.com
azsoftir.com
•مشاوره در زمینه هوش تجاری (Business Intelligence)
•مشاوره در زمینه داده کاوی (Data Mining)
•آموزش مباحث مرتبط با داده کاوی و هوش تجاری
•راهبری و نظارت بر پروژه های داده کاوی و هوش تجاری
•برگزاری سمینار و کارگاه در زمینه داده کاوی و هوش تجاری
09367292276
09367292276
azsoftir@gmail.com
azsoftir.com
09367292276
09367292276
azsoftir@gmail.com
azsoftir.com
بررسی تفاوت های خوشه بندی ، دسته بندی و رگرسیون
09367292276
09367292276
azsoftir@gmail.com
azsoftir.com
09367292276
09367292276
azsoftir@gmail.com
azsoftir.com
خوشه بندی خوشه بندی دیتا تکنیک اصلی در روش یادگیری بدون ناظر می باشد، در این روش ما به دنبال یادگیری الگو ها می باشیم مجموعه آموزشی یا تست نداریم از طریق ویژگی های مجموعه داده ها به دنبال الگوهای پنهان در دیتا می گردیم در دسته یادگیری بدون
|Categories: هوش مصنوعی, یادگیری ماشین|Tags: classification, clustering, machine learning, خوشه بندی, داده کاوی, دسته بندی, رگرسیون, یادگیری ماشین|بدون دیدگاه
اطلاعات بیشتر
Web mining
09367292276
09367292276
azsoftir@gmail.com
azsoftir.com
09367292276
09367292276
azsoftir@gmail.com
azsoftir.com
Web usage mining برای پشتیبانی E-commerce استفاده میشود، اینجا دو جنبه وجود دارد : یکی استخراج اطلاعات درباره رقبا و دیگری کاوش اطلاعات مشتریان . کاوش داده روی وب : کاوش داده روی وب یک چالش اصلی در مواجه با مدیریت داده و همچنین مدیریت اطلاعات وب و Machine learning میباشد. داده ها و اطلاعات [...]
داده کاوی, متلب, وب کاوی|بدون دیدگاه
مراحل داده کاوی
پاک سازی داده ها: در این مرحله داده های غیر معتبر از مجموعه داده های آموزشی خارج می شوند. داده های دارای نویز، اطلاعات ناکامل و ... نمونه هایی از داده هایی هستند که با ید پاکسازی در مورد آنها انجام گردد. یکپارچه سازی داده ها: در این مرحله، منابع چندگانه داده
g: داده کاوی|Tags: داده کاوی, متلب و داد کاوی|بدون دیدگاه
کاربردهای داده کاوی
خرده فروشی : از کاربردهای کلاسیک داده کاوی است که می توان به موارد زیر اشاره کرد : تعیین الگوهای خرید مشتریان تجزیه و تحلیل سبد خرید بازار پیشگویی میزان خرید مشتریان از طریق پست(فروش الکترونیکی) بیمه : تجزیه و تحلیل دعاوی پیشگویی میزان خرید بیمه نامه های جدید توسط مشتریان پزشکی : [...]
: داده کاوی|Tags: داده کاوی, کاربرد داده کاوی, متلب|بدون دیدگاه
تفاوت داده کاوی و آنالیز های آماری
داده کاوی با آنالیز های متداول آماری متفاوت است؛در زیرمی توان برخی از اصلی ترین تفاوت های داده کاوی و آنالیز آماری را مشاهده نمود: آنالیز آماری: • آمار شناسان همیشه با یک فرضیه شروع به کار می کنند. • آنها از داده های عددی استفاده می کنند. • آمارشناسان
t: داده کاوی|Tags: آنالیز آماری, داده کاوی, شبیه سازی, کد, متلب|بدون دیدگاه
چند مثال در موردمفهوم داده کاوی
یکی از نمونه های بارز داده کاوی را می توان در فروشگاه های زنجیره ای مشاهده نمود، که در آن سعی می شود ارتباط محصولات مختلف هنگام خرید مشتریان مشخص گردد. فروشگاه های زنجیره ای مشتاقند بدانند که چه محصولاتی با یکدیگر به فروش می روند. برای مثال طی یک عملـیات داده کاوی گستـرده [...]
at: داده کاوی|Tags: داده کاوی, متلب و داده کاوی, مثال داده کاوی|بدون دیدگاه
تعاریف داده کاوی
نگاهی به ترجمه لغوی داده کاوی به ما در درک بهتر این واژه کمک می کند . واژه لاتین Mine به معنای استخراج از منابع نهفته و با ارزش زمین اطلاق می شود . ادغام این کلمه با Data به معنی داده بر جستجویی عمیق از داده های قابل دسترس با حجم زیاد برای [...]
|Categories: داده کاوی|Tags: تعریف داده کاوی, داده کاوی|بدون دیدگاه
تاریخچه داده کاوی
با توجه به وجود اطلاعات ارزشمند در پایگاه های داده ای در اواخر دهه ۸۰ میلادی ، تلاش برای استخراج و استفاده از اطلاعات پایگاه های داده ای شروع شد . داده کاوی فرایندی است که در آغاز دهه ۹۰ پا به عرصه ظهور گذاشته و با نگرشی نو ، به مسئله استخراج اطلاعــات از
: داده کاوی|Tags: تاریخچه, داده کاوی, متلب|بدون دیدگاه
آموزش داده کاوی با وکا
برای دانلود این جزوه در همین صفحه برای ما پیام بگذارید
: داده کاوی|Tags: آموزش وکا, داده کاوی, متلب, وکا|بدون دیدگاه
خوشه بندی k means در متلب
خوشه‌بندی را می‌توان به عنوان مهمترین مسئله در یادگیری بدون نظارت در نظر گرفت. خوشه‌بندی با یافتن یک ساختار درون یک مجموعه از داده‌های بدون برچسب درگیر است. خوشه به مجموعه‌ای از دادهها گفته میشود که به هم شباهت داشته باشند. در خوشه‌بندی سعی میشود تا دادهها به خوشه‌هایی تقسیم شوند که شباهت بین داده‌های [...]
t: داده کاوی|Tags: داده کاوی, داده کاوی در متلب, روش های داده کاوی|بدون دیدگاه
انجام پایان نامه های داده کاوی و متن کاوی با رپیدماینر رو وکا
انجام پایان نامه های ارشد نرم افزار صنایع و مدیریت در خصوص داده کاوی و متن کاوی از صفر تا صد کار
موضوعات تشخیص بیماری،بانکداری،بیمه،بازاریابی و مدیریت
با دسترسی به داده واقعی ایرانی و خارجی
داده به فروش میرسد،،
موضوعات: تشخیص بیماری کبد کلیه هپاتیت پیش بینی افسردگی سرطان و دیابت تشخیص بیماری دیسک کمر با داده های واقعی
تحلیل احساسات
خوشه بندی مشتریان بانکداری و بیمه از نقطه نظر بازاریابی
سیستم توصیه گر انتخاب رشته دانش آموزی
خوشه بندی دانش جویان و بسیاری موضوعات دیگر
با بررسی نوآوری و تحلیل موضوع در خصوص ارایه مقاله معتبر
آموزش ها حضوری و یا غیرحضوری به صورت ارایه فیلم آموزشی
09367292276
09367292276
azsoftir@gmail.com
azsoftir.com
09367292276
09367292276
azsoftir@gmail.com
azsoftir.com
برچسب‌ها: انجام پایان نامه داده کاوی, انجام پایان نامه ارشد, انجام پایان نامه ارشد نرم افزار, انجان نامه با رپیدماینرم پایا
+ نوشته شده در سه شنبه یازدهم مهر ۱۳۹۶ ساعت 21:54 توسط میناربطی | نظر بدهید
فیلم های آموزشی رپید ماینر و متلب و داده کاوی
در راستای انجام پروژه ها ، برای راهنمایی دانشجویان و راحتی آنها حتی برای دوستانی به کلاس های داده کاوی در تهران دسترسی ندارند. این امکان فراهم شده است که به راحتی مفاهیم داده کاوی را توسط فیلم های آموزشی مفاهیم داده کاوی رو آموزش نرم افزار فرا گیرند. مفاهیمی که در این فیلم ها تهیه خواهد شد کاملا براساس درخواست دانشجو و با صدای واضح و تصویر واضح خواهد بود . .بخشی از فیلم ها در ابتدا به صورت رایگان ارایه خواهد شدمثال هایی از این فیلم ها به شرح زیر است:
1- مفاهیم داده کاوی و انواع روش های پیش پردازش : به صورت رایگان
2- مفاهیم شبکه عصبی از ابتدا با استفاده از اسلاید و شکل به صورت فرمول و مثال ( پارامترهای نرم افزار مانند نرخ یادگیری، ضریب موومنتوم ، تعداد لایه ها) به همراه توضیحات در نرم افزار
3- مفاهیم خوشه بندی کامینز و انواع خوشه های سلسله مراتبی به همراه روش های ارزیابی به صورت مفهومی در نرم افزار
4 - روش های قواعد انجمنی با مثال و فرمول روش ها در اسلاید
و.... و بسیاری موارد دیگر به درخواست دانشجو
09367292276
09367292276
azsoftir@gmail.com
azsoftir.com
09367292276
09367292276
azsoftir@gmail.com
azsoftir.com
برچسب‌ها: انجام پایان نامه داده کاوی, انجام پایان نامه ارشد, انجام پایان نامه ارشد نرم افزار, انجام پروژه
+ نوشته شده در چهارشنبه بیست و پنجم فروردین ۱۳۹۵ ساعت 22:41 توسط میناربطی | 2 نظر
انجام سمینارهای داده کاوی
انجام پروژه درس سمینار کارشناسی ارشد کامپیوتر با کمترین قیمت
سمینارهای داده کاوی در موضوعات:
پیش بینی مدیریت ریسک مشتریان بانک با ابزارهای داده کاوی
کشف تقلب در بیمه با ابزارهای داده کاوی
بررسی روشهای دسته بندی در برای تشخیص کلاهبرداری در حوزه بانکداری
ارائه مدلی برای تشخیص خرابی قطعات با استفاده از تکنیک های داده کاوی
مدیریت ریسک در شبکه های کامپیوتری با استفاده از داده کاوی
کاربرد الگوریتم ایمنی مصنوعی در خوشه یابی داده ها
پیش بینی بیماری دیابت با ابزارهای داده کاوی
بررسی اثر فرهنگ اسلامی بر رفتار شهروندی سازمانی با استفاده از داده کاوی
کاربرد داده کاوی در پزشکی
پیش بینی بیماری قلبی با ابزارهای داده کاوی
09367292276
09367292276
azsoftir@gmail.com
azsoftir.com
09367292276
09367292276
azsoftir@gmail.com
azsoftir.com
جهت مشاوره و سفارش لطفا تماس بگیرید
برچسب‌ها: رپیدماینر, انجام پروژه رپیدماینر, وکا, پروژه آماده, پروژه آماده رپیدماینر
+ نوشته شده در یکشنبه یازدهم بهمن ۱۳۹۴ ساعت 14:1 توسط میناربطی | نظر بدهید
مشاوره مراحل پایان نامه ارشد کامپیوتر
با توجه به اهمیت پایان نامه ارشد همواره دغدغه دانشجویان کارشناس ارشد به خصوص در رشته مهندسی کامپیوتر گرایش هوش مصنوعی و نرم افزار انتخاب موضوع و مراحل ایجاد پایان نامه است.
هم چنین بسیاری از دانشجویان تمایل دارند که شخصا به انجام و اجرای پایان نامه خود بپردازند. اما در مراحل انتخاب موضوع و نگارش پروپوزال دچار سردرگمی و ابهامات زیادی خواهد شد.
مشاوره نحوه انتخاب موضوع، نحوه جستجو و پیشنهاد موضوع، مشاوره چگونگی نوآوری در پایان نامه، انواع نوآوری در پایان نامه، جستجوی دیتاست جهت پروژه های داده کاوی، انتخاب از نرم افزارهای برتر در پایان نامه
و بسیاری نکته ها و تجربه هایی که این جانب با سابقه بالا در پژوهش در طول این سالها کسب کردم.
جهت مشاوره و سفارش لطفا تماس بگیرید
09367292276
09367292276
azsoftir@gmail.com
azsoftir.com
09367292276
09367292276
azsoftir@gmail.com
azsoftir.com
برچسب‌ها: رپیدماینر, انجام پروژه رپیدماینر, وکا, انجام پایان نامه داده کاوی, انجام پایان نامه ارشد
انواع پروژه های آماده رپیدماینر
پکیج کامل پروژه های رپیدماینر و وکا و متلب شامل:
مباحث داده کاوی در پزشکی
داده کاوی در مخابرات
داده کاوی در بانک
داده کاوی در بیمه
پیش بینی بیماری دیابت با روش های داده کاوی
پیش بینی بیماری قلبی با روش های داده کاوی
رتبه بندی اعتباری مشتریان بانک با روش های داده کاوی
خوشه بندی مشتریان
پیش بینی ریزش مشتری با داده کاوی
کشف تقلب در بانک
کشف پول شویی با روش های داده کاوی
و....
مجموعه داده مرتبط با موضوع، کد اجرای نرم افزار، فایل ورد توضیحات گام به گام نرم افزار، فیلم آ آموزش اجرا
09367292276
09367292276
azsoftir@gmail.com
azsoftir.com
09367292276
09367292276
azsoftir@gmail.com
azsoftir.com
برچسب‌ها: رپیدماینر, انجام پروژه رپیدماینر, وکا, انجام پایان نامه داده کاوی, پروژه آماده رپیدماینر
+ نوشته شده در یکشنبه یازدهم بهمن ۱۳۹۴ ساعت 1:11 توسط میناربطی | نظر بدهید
انجام پروژه های رپیدماینر و وکا و متلب
انجام پروژه های داده کاوی (Data Mining) در زمینه های رده بندی (Classification)، خوشه بندی (Clustering)، پیش بینی (Prediction)، انتخاب ویژگی (Feature Selection) و قواعد انجمنی (Association Rules) با استفاده از روش ها و الگوریتم های مختلفی نظیر:
1 -Ann)شبکه عصبی مصنوعی)
2 - شبکه های عصبی مصنوعی (RBF)
3 - درخت تصمیم--هرس درخت تصمیم--درخت تصمیم با شاخص جینی و آنتروپی
4 - بگینگ و بوستینگ
5 - ماشین بردار پشتیبان
6-ماشین بردار پشتیبان با بهینه ساز ازدحام ذرات
8 - سیستم استنباط بیزین
10-الگوریتم ژنتیک , ازدحام ذرات
11-الگوریتم های فراابتکاری
12-قواعد همسایگی با fp-growth,apriory
13-تحلیل نتایج با رسم نمودار Roc
14-انواع مختلف روش های انتخاب ویژگی:شاخص ریلیف، ازدحام ذرات،شاخص جینی و ...
15-انواع روش های نمونه برداری و بیش نمونه گیری
16-روش های حل مشکل رده نامتوازن
17-تشخیص داده پرت با کانزدیکترین همسایه)Knn
18-تشخیص داده پرت محلی
انجام پروژه های رپیدماینر و وکا و متلب در کوتاهترین زمان ممکن با کمترین قیمت با مشاوره وآموزش اجرای پروژه
انجام پروژه های داده کاوی با مشاوره و آموزش اجرا جهت ارایه پروژه
در صورت ارایه پروژه فیلم آموزشی کار با نرم افزار و اجرای پروژه تحویل داده خواهد شد.
09367292276
09367292276
azsoftir@gmail.com
azsoftir.com
09367292276
09367292276
azsoftir@gmail.com
azsoftir.com
برای سفارش پروژه لطفا تماس بگیرید.
داده کاوی یا data mining ،دانش استخراج طلاعات از داده های بسیار زیاد می باشد.
دیتا ماینینگ ،اطلاعات و داده ها را استخراج و مورد تجزیه تحلیل قرار می دهد.
DATAMINING،در مفهوم کلی استخراج داده های نهان از میان بانک های اطلاعاتی می باشد.
اکثر شرکت‌ها،سازمانها و موسسات دارای حجم زیادی از اطلاعات هستند.
09367292276
09367292276
azsoftir@gmail.com
azsoftir.com
09367292276
09367292276
azsoftir@gmail.com
azsoftir.com
تکنیک‌های پردازش داده ها به استخراج و تجزیه تحلیل این اطلاعات کمک می نماید.
دیتا ماینینگ به عنوان ابزاری برای کشف جرایم،پیش بینی رفتار مشتریان، ارزیابی میزان ریسک و فروش محصولات و یا تشخیص بیماری و …به کار می‌رود.
معمولا جهت انجام پروژه های دیتا ماینینگ از نرم افزار متلب استفاده می شود
هرچند که نرم افزارهای دیگری نیز در پردازش داده ها کاربرد دارند.
بسیاری از شرکت های بزرگ مانند IBMنیز نرم افزارهایی را جهت داده کاوی طراحی کرده اند.
دسته‌بندی مشتریان بانک ها با استفاده از تکنیک های داده کاوی
تحلیل نیازهای مشتریان و تشخیص محصولات مناسب برای دسته‌های مختلف مشتریان و شناسایی گرایش های آنان در خرید
تشخیص و تعیین و اولویت بندی فاکتورهای جذب مشتری
پیش بینی میزان خرید مشتریان از طریق DATAMINING
پیش‌بینی الگوهای کلاهبرداری از طریق کارت های اعتباری و شناسایی جرایم
09367292276
09367292276
azsoftir@gmail.com
azsoftir.com
09367292276
09367292276
azsoftir@gmail.com
azsoftir.com
مالی
تشخیص مشتریان ثابت و دسته‌بندی و خوشه‌بندی مشتریان با توجه به رفتار مشابه آنها در زمینه بانکداری و بازپرداخت وام
مدیریت ارتباط با مشتریان(بانک،بیمه و …) و تدوین استراتژی بر اساس مشتریان هدف
تحلیل ریسک و تخمین میزان امتیازات مشتریان بر اساس رفتار خرید
پیش‌بینی میزان خسارت با استفاده از تکنیک های پردازش داده
استخراج عوامل موثر در وفاداری مشتریان
شناخت نیازها و الگوهای خرید سرویس های بیمه‌ای توسط مشتریان
پیش بینی و تحلیل میزان موفقیت اعمال جراحی و تعیین میزان موفقیت روشهای درمانی در برخورد با بیماری
تعیین میزان تاثیر دارویی خاص بر بیماری مورد مطالعه و تاثیرات احتمالی آن
تحلیل و تشخیص بیماری با استفاده از داده های پزشکی مان
09367292276
09367292276
azsoftir@gmail.com
azsoftir.com
09367292276
09367292276
azsoftir@gmail.com
azsoftir.com
ند پیش بینی بیماری سرطان
کشف تقلب در سازمان ها با استفاده از دیتا ماینینگ
پیش بینی بازار فروش در آینده
اجرا و کدنویسی پروژه های دیتاماینینگ
آموزش برنامه نویسی
09367292276
09367292276
azsoftir@gmail.com
azsoftir.com
09367292276
09367292276
azsoftir@gmail.com
azsoftir.com
به علت وجود داده های زیاد و دانش و اطلاعات کم در رابطه با داده های موجود به سراغ پردازش آنها می رویم.
دانش پردازش داده در بسیار از صنایع و زمینه ها کاربرد دارد.به عنوان مثال:
کاربردهای داده کاوی در صنعت بیمه
داده کاوی به تصمیم گیری،پیش بینی و دسترسی به اطلاعات ضروری کمک بسیاری می نماید.
برخی از پروژ ها وفرآیندهای قابل اجرا با تکنیک های پردازش داده :
پیدا کردن بازار هدف به وسیله انجام پروژه دیتاماینینگ
بهره گیری از داده کاوی در یافتن الگوی خرید مشتری
09367292276
09367292276
azsoftir@gmail.com
azsoftir.com
09367292276
09367292276
azsoftir@gmail.com
azsoftir.com
تحلیل اعتبار مشتریان بر اساس دیتا ماینینگ
تحلیل پاسخگویی مشتریان به ارائه خدمات جدید بانکی
پیش بینی میزان خرید و استفاده از تسهیلات جدید
سیستمهای پردازش داده را می‌توان برای کاربردهای متفاوت توسعه داد.
کاملا مشخص است که بر طبق کاربردها و شرایط مختلف، معماری چنین سیستمهایی می تواند تفاوتهایی با یکدیگر داشته باشد
در کدنویسی پروژه های دیتاماینینگ معمولا از نرم افزار متلب استفاده می شود
09367292276
09367292276
azsoftir@gmail.com
azsoftir.com
09367292276
09367292276
azsoftir@gmail.com
azsoftir.com
اگوریتم های ژنتیک، کلونی ومورچگان، شبکه عصبی، خفاش و…. در این مسیر کاربرد دارند.
انجام پروژه دانشجویی در متلب داده کاوی Data mining
642
گروه آموزشی متلب نت www.matlabnet.ir matlab_net@yahoo.com انجام پروژه دانشجویی ,در متلب ,داده کاوی Data mining ANN, Anomaly Detection, Artificial Neural Networks, Association Rule Mining, Classification, Clustering, Data Mining, Data Mining in MATLAB, Dimension Reduction, Dimensionality Reduction, KDD, Knowledge Discovery, Knowle
نجام پایان نامه کارشناسی ارشد داده کاوری/هوش مصنوعی/پردازش تصویر انجام پایان نامه شبکه عصبی داده کاوی ارشد / ماشین بردارپشتیبان/درخت تصمیم/آنزامبل کلاسیفایر انجام پایان نامه تشخیص نفوذ با داده کاوی/انجام پایان نامه تشخیص ریسک با داده کاوی سفارش پایان نامه داده کاوی/ تشخیص سرطان، تشخیص بیماری/تشخیص نار
09367292276
09367292276
azsoftir@gmail.com
azsoftir.com
09367292276
09367292276
azsoftir@gmail.com
azsoftir.com
عمل داده کاوی از یک پایگاه داده به چند مرحله مشخص تقسیم می شود که ما در این فصل به معرفی و توضیحی نسبتا کامل در مورد هر یک از این مراحل خواهیم پرداخت:
1- مرحله اول : تشکیل انبار داده
2- مر حله دوم : انتخاب داده ها
3- مرحله سوم : تبدیل داده ها
4- مرحله چهارم : کاوش در داده ها
5- مر حله پنجم : تفسیر نتیجه
1- انباره داده ها (Datawarehouse)
در این نوشته، نگاهی خواهم داشت به مقدمات مفاهیم انبارکردن داده ها بدون ورود به بحث های تخصصی مرتبط تا در آینده بتوانم در مطلب مستقلی به مفهوم داده در سازمانهای امروزی نگاهی داشته باشم.
تعریف: می توان تعاریف مختلفی را برای Datawarehouse:
09367292276
09367292276
azsoftir@gmail.com
azsoftir.com
09367292276
09367292276
azsoftir@gmail.com
azsoftir.com
1- تعریف Ralhp Kimball از انباره داده : یک DW نسخه ای از داده های تراکنشی است که به صورت اختصاصی برای پرس و جو ها و گزارش گیری ،سازمان دهی شده است.
A data warehouse is a copy of transaction data specifically structured for querying and reporting.
گرچند به این تعریف دو ایراد وارد است:که اولاً گاهی داده هایی که در یک DW ذخیره می شوند ،غیرتراکنشی هستند . اگرچه معمولاً 95 تا 99 درصد داده ها تراکنشی هستند . ثانیاً خروجی اصلی سیستم های DW ، لیست گیری های فهرست وار (queries) در حجم کم و یا گزارش های اداری در حجم زیاد هستند
2- اگر تعاریف زیر برقرار باشد:
داده : حقحیقت قابل مشاهده ، فایل ضبط
اطلاع : مجموعه سازماندهی شده از حقیقت ها ؛ داده های با ارتباط و هدف
سیستم عملیاتی : محیطی از داده ها و برنامه های لازم برای ادامه فعالیتهای یک سازمان
انبار داده ی اطلاعی :مجموعه ای از داده و برنامه ها، برای "تحلیل " و "تصمیم گیری "، جدا از سیستم عملیاتی
یک انباره داده(DW) معماری جداگانه ای است برای نگهداری داه های حساس تاریخی که این داده ها از انبار داده های عملیاتی به دست آمده اند و به صورتی قابل درک برای عملیات تحلیل سازمان درآمده اند.
3- یک تعریف از W.H.INMON
یک DW مجموعه ای از اطلاعات یکپارچه که دارای قابلیت آنالیز کردن و استخراج داده ها (query)میباشد
"repository of integrated information, available for querying and analysis "
بعضی از خصوصیات Data warehouse ها از این قرارند :
•یکپارچه بودن
•متغیر با زمان
•غیر فرار
•موضوع گرا (Subject-oriented)
تاریخچه:
بعد از رشد استفاده از TPS ها به عنوان سیستمهای پرداش تراکنش در بخش های عملیاتی سازمان، نیاز جدی به سیستمهای اطلاعاتی که بتوانند عملیات گزارش گیری را علی الخصوص در رده گزارشهای مدیریتی ساماندهی کنند احساس می شد. علی الخصوص بوجود آمدن جزایر فنآوری، سیستمهایی که به صورت جد از هم فعالیت می کرد و امکان تهیه گزارشات ترکیبی از اطلاعات سیستمهای مختلف و انجام پرس و جو ها را مشکل و یا غیر ممکن می نمود. بنابراین حرکت به سمت سیستمهای اطلاعات مدیریت (Management Information System) و بویژه سیستمهای گزارشگیری مدیریتی (MRS:Management Reporting System) آغاز شد. اما مشکل آنجا بود که این سیستمها به شدت به TPS ها وابسته بودند و داده هاشان اغلب یکی بود. این باعث می شد که تغییر یکی باعث انتشار تغییرات در همه سیستمها شود. از سوی دیگر ساختار داده ای مشابه، امکان تهیه گزارشات زمانی و موضوعی را مشکل می ساخت. این شد که مدل جدیدی از تفکر ایج
09367292276
09367292276
azsoftir@gmail.com
azsoftir.com
09367292276
09367292276
azsoftir@gmail.com
azsoftir.com
اد شد به نام انباره داده ها
دلایل استفاده از DW ها :
1- تهیه گزارشات (Reports) و انجام پرس و جو هایی (Query) که نیاز به عملیات ورودی/خروجی (IO) بسیاری هستند: از اهداف سیستمهای پردازش تراکنش (TPS:Transaction Processing System) آن است که گزارشات مورد نیاز بخش های عملیاتی و مدیریتی را تولید کنند. تهیه این گزارشات معمولا سخت و باحجم زیاد IO همراه است و باعث کند شدن خود سیستمها می گردد. بنابراین شرکت های تجاری به دنبال راهی هستند تا در کمترین زمان و با کمترین هزینه به سیستم هایی دست یابند که زمان پردازش تراکنش ها در آن ها قابل قبول باشد . بهترین راهکار استفاده از DW هایی بود که از منابع IO مجزایی برای گزارش گیری و انجام پرس و جو استفاده می کردند.
2- استفاده از مدل های داده ای و یا تکنولوژی های سرور به منظور بالا بردن سرعت عملیات گزارش گیری و پرس و جو ها که سیستم های عادی پردازش تراکنش ها(TPS) برای آن ها مناسب نیست.
3- ایجاد محیطی برای برای تسهیل و آسان نمودن به دست آوردن گزارش ها و پرس و جو ها و یا ایجاد وسیله ای برای سرعت بخشیدن به عملیات گزارش گیری: اغلب می توان DW ای ساخت که کاربرانی باسطح آگاهی کمتر بتوانند گزارش ها و پرس و جوهای ساده ای را تهیه کنند .
4- برای ایجاد انباری از داده های تصفیه شده ی سیستم های پردازش تراکنش ها (TPS)که می توانند به طور پیوسته گزارش از آن تهیه نمود. این انبار الزاماً احتیاجی به ثابت بودت TPS ها ندارد :DW ها این امکان را به شما می دهند که داده ها را بدون تغییر دادن سیستم های پردازش تراکنش ها ،تصفیه کنند. (clean up) توجه کنید که در برخی از پیاده سازی ها ، DW ها به گونه ای هستند که در آن ها امکان یافتن اصلاحات انجام شده بر روی داده های DW و فرستادن feedback به TPS ها برای اعلام این تغییرات ، وجود دارد. گاهی اوقات این گونه رفتار کردن با تغییرات داده ها بامعناتر از این است که تغییرات را به طور مستقیم بر روی خود TPS ها اعمال کنیم .
5- برای آن که بر اساس قواعد ، گزارش گیری و پژوهش را بر روی داده هایی که از چندین TPS مختلف می آیند و یا از یک منبع داده ای خارجی می آیند، یا اینکه داده هایی هستند که تنها برای گزارش گیری و انجام تحقیقات باید ذخیره شوند ، تسهیل بخشیم:برای مدت زمان مدیدی ، شرکت هایی که نیاز به گزارش هایی بر پایه ی داده های چندین TPS مختلف ، داشتند ؛ مجبور بودند داده های هر TPS را بیرون کشیده ، سپس آن ها را مرتب نموده و در هم ادغام نمایند تا به داده ی چکیده ای برسند که مناسب گزارش گیری است .در بسیاری از موارد این روش مناسب است.اما در شرکت هایی که با حجم عظیمی از داده هایی مواجه هستند که مرتباً نیاز به مرتب سازی و ادغام دارند ؛ در صورتی که نیاز به گزارش گیری از داده های تصفیه شده ی TPS ها داشته باشیم ؛ DW ها کارایی بیشتری دارند.
09367292276
09367292276
azsoftir@gmail.com
azsoftir.com
09367292276
09367292276
azsoftir@gmail.com
azsoftir.com
6-برای ایجاد مخزنی از داده های TPS ها ، که شامل داده های یک بازه ی زمانی بسیار طولانی هستند وبه همین دلیل کارایی کنترل آن ها توسط خود TPS پایین می آید . :داده های قدیمی تر غالباً از یک TPS خالی می شوند تا زمان پاسخ مورد انتظار دراین سیستم ها ، به راحتی کنترل شود .برای انجام تحقیقات و گزارش ها ممکن است داده های قدیمی و داده های جاری مورد نیاز باشند که در این موارد استفاده از DW به علت مهم نبودن زمان انتظار برای پاسخ ، موثر خواهد بود.
روش کار
در DW فرایندی داریم به نام ETL: Extract, Transform,Load که در طی آن داده ها از سیستمهای پرادزش تراکنش استخراج می شود (E) تغییر فرمت های لازم در آن صورت می گیرد (T) و سپس در قالب داده ای جدید مناسب برای گزارشگیری آماده می شود (L) پس از آن از طریق داده کاوی (Data Mining ) و مکانیزم هایی مانند OLAP پرس و جو ها ایجاد و گزارشات مورد نیاز تهیه می شود.
2- مر حله دوم : انتخاب داده ها
در این مرحله برای کم کردن هزینه های عملیات داده کاوی، داده هایی از پایگاه داده انتخاب می شوند که مورد مطالعه هستند و هدف داده کاوی دادن نتایجی در مورد آنهاست. به عبارت دیگر داده های مرتبط به فرایند Data Mining از سایر داده ها جدا می شود. این مبحث را می توان بخشی از فرایند کاهش اطلاعات نیز دانست.
کاهش اطلاعات عبارت است از تولید یک مجموعه کوچکتر از داده های اولیه که تحت عملیات Data Mining نتایج تقریبا یکسانی با نتایج Data Mining روی اطلاعات اولیه به دست می دهد.
09367292276
09367292276
azsoftir@gmail.com
azsoftir.com
09367292276
09367292276
azsoftir@gmail.com
azsoftir.com
این عمل را می توان از طریق حذف خصیصه های غیر مرتبط با نوع عملیات Data Mining مورد نظر انجام داد.
حذف خصیصه های مرتبط که در اثر اشتباه در ارزیابی میزان ارتباط آنها با عملیات Data Mining انجام می گیرد، می تواند منجر به ناکارآمدی فرایند Data Mining و استخراج قوانین ناقص و در نتیجه بی ارزش شود.
عدم حذف خصایص غیر مرتبط می تواند زمان انجاخم عملیات Data Mining را به طرز قابل ملاحظه ای افزایش دهد.
سه روش کلی برای انتخاب خصایص مرتبط با Data Mining وجود دارد:
• انتخاب پیش رونده: در هر مرحله خصیصه ای که بیشترین ارتباط را دارد، برگزیده می شود.
• انتخاب عقب رونده: در هر مرحله خصیصه ای که کمترین ارتباط را دارد، انتخاب و حذف می شود.
• روش ترکیبی : ترکیب هر دو روش پیش رونده و پس رونده
سلسله مراتب مفهومی: روشی برای کاهش تعداد مقادیر ممکن برای یک خصیصه ارائه می دهد، اگر چه داده های خروجی کلی تر بوده و فاقد برخی جزئیات هستند، اما این داده ها بسیار ساده تر بوده و در سطح تجریدی بالاتری نسبت به داده های اولیه قرار دارند.
داده های مرتبط با فرایند Data Mining: بانک اطلاعاتی ممکن است شامل تعداد زیادی از رکورد ها باشد که تنها بخش کوچکی از آنها با فرایند Data Mining مرتبط هستند. مشخص کردن این بخش از اطلاعات باید توسط کاربر انجام گیرد.
نوع دانشی که باید استخراج شود: نوع روتین هایی که باید بر روی داده های انتخاب شده اعمال شوند، باید مشخص گردد.
دانش زمینه ای : کاربران می
09367292276
09367292276
azsoftir@gmail.com
azsoftir.com
09367292276
09367292276
azsoftir@gmail.com
azsoftir.com
توانند، با مشخص کردن دانش زمینه ای فرایند Data Mining را هدایت نمایند، برای نمونه حدس کاربر در مورد رفتار اطلاعات.
معیارهای ارزیابی دانش استخراج شده: این معیارها ممکن است در زمان اجرای فرایند Data Mining و یا پس از پایان Data Mining ، روی دانش استخراج شده اعمال شده و بخش ارزشمند دانش را مشخص نمایند.
نحوه ارائه دانش استخراج شده: نمایش دانش و قوانین استخراج شده در قالب های مختلفی نظیر جدول ، نمودار ، درخت تصمیم گیری و ...
3- مرحله سوم: تبدیل داده ها
از آنجائیکه سیستمهای اطلاعاتی و برنامه های کاربردی یک سازمان غالبا توسط افراد و پروژه های مختلف به مـرور زمان در مواجهـه با نیـازهای جدید سـاخته یا تغییر شـکل داده می شـوند، یکسـان سـازی آنها امری ضروری می باشد.در بسیاری از موارد نیز سیستمهای اطلاعاتی در بستر های مختلف پایگاه داده مانند Microsoft SQL Server ،Oracle ، Sybase ، Microsoft Access و غیره طراحی گردیده اند. بررسی جداول، برقراری ارتباط بین فیلدها و یک شکل سازی داده ها در این مرحله صورت می پذیرد.
مشخص است برای انجام عملیات داده کاوی لزوما باید تبدیلات خاصی روی داده ها انجام گیرد ممکن است این تبدیلات خیلی راحت و مختصر مثل تبدیل byte به integer باشد یا خیلی پیچیده و زمان بر و با هزینه های بالا مثل تعریف صفات جدید و یا تبدیل و استخراج داده ها از مقادیر رشته ای و ... باشد.
کیفیت اطلاعات برای انتخاب و استفاده از اطلاعات موجود و عرضه شده در سازمان یا خارج از آن ، از اهمیت فراوانی برخوردار است. از سویی دیگر نیاز به اطلاعات گوناگون برای بقاء هر سازمان با توجه به افزایش پیچیدگی، پویایی و تغییرات محیطی در حال فزونی است. این امر با توجه به رشد نمایی اطلاعات و از طرفی دیگر کوتاه بودن اعتبار آن ابزار و روشهای مناسبی را طلب می نماید تا توسط آن به کیفیت اطلاعات اطمینان پیدا نمود. از اینرو با توجه به اهمیت کیفیت اطلاعات، ارزیابی کیفیت اطلاعات برای دستیابی به اطلاعات موردنیاز سازمان امری مهم و ضروریست و لازم است تا با ایجاد ابزار مناسب (ساختار، ابزار، انسان و …) این مهم را به صورت صحیح و مؤثر مدیریت نمود. از آنجا که موضوع کیفیت ابعاد متفاوتی دارد لذا در ادامه بحث به معرفی کلی این ابعاد از منظر مدیریت کیفیت پرداخته می شود؛ تا با کسب این آشنایی اجمالی، بتوانیم ضمن شناخت محورهایی که می بایست در مورد آنها اطلاعات کسب شود، ابعاد کیفیت اطلاعات مربوط به این عوامل نیز بازیابی و شناسایی گردند. ابعاد کلی مختلفی که در ایجاد کیفیت، نقش ایفاء می نمایند در جدول شماره یک درج شده اند. با توجه به این ابعاد می توان ضمن شناخت اطلا عا ت مورد نیاز منابع تولید این اطلاعات را نیز شناخت.
کیفیت اطلاعات به خودی خود قابل رویت نیست، بلکه کیفیت آنرا می توان از صحت آن و نتایج آن سنجید. صحت اطلاعات نیز در مرحله اول قابل رویت نیست بلکه آنرا با ارزیابی ارائه کننده و درجه اطمینان آنان می توان وابسته نمود. از سوی دیگر اطلاعات معمولاً وابسته به زمان است یعنی آنکه اعتبار آن ممکن است که در طول زمان از بین برود. به عنوان مثال (لیست قیمت یک کالا، دقت یک دستگاه ومیزان تقاضا در بازارو. …) از اینرو باید به صورت مستمر با ایجاد / تعیین مقیاس و شاخص های مناسب برای اطلاعات مورد نیاز، کیفیت اطلاعات را به صورت پویا و مستمرمورد بررسی قرار داد. کیفیت اطلاعات یک مجموعه از نیازهای اطلاعاتی است که برای برطرف نمودن یک نیاز اطلاعاتی/ انجام کاری در سازمان مورد نیاز است (فرآیند - مشتری - ساختار - کارکنان - محصول - خدمات و …) تا با استفاده از آنها، کارها درست و بصورت اثر بخش انجام گردند. در این راستا مرتبط بودن - واضح بودن - معتبر بودن - به موقع بودن - قابل دستیابی بودن و … از جمله مواردی است که اطلاعات با کیفیت مطلوب می بایست دارا باشد.
4- مرحله چهارم : کاوش در داده ها
کاوش داده اغلب با نوشتن مقدار زیادی گزارش و تحقیق و استعلام از آنها اشتباه میشود. اما در واقع کاوش داده هیچکدام از اینها را شامل نمی شود. کاوش داده از طریق تجهیزات مخصوصی انجام میشود که عملیات کاوش از پیش تعریف شده را بر اساس مدلهای تجزیه و تحلیل انجام میدهند. کاوش داده، بررسی داده ها با تمایل به کشف نکات با ارزش و مفید اطلاعات در مقدار متنابهی از داده ها که در طول کار و تجارت بدست آمده است می باشد. کاوش داده با آنالیزهای متداول آماری نیز متفاوت است. در زیر تفاوتهای کاوش داده و آنالیز آماری آمده است. انبار داده Data warehouse از جمله منابع معمول برای بکارگیری کاوش داده هستند زیرا شامل منابع با ارزشی از داده های داخلی که بوسیله روشهای استخراج/ انتقال/ بارگزاری (ETL) جمع آوری، یکپارچه و تایید شده اند.
مراحل داده کاوی
09367292276
09367292276
azsoftir@gmail.com
azsoftir.com
09367292276
09367292276
azsoftir@gmail.com
azsoftir.com
انبار داده ها همچنین میتوانند شامل داده های با ارزش خارجی مانند قوانین و ضوابط، جمعیت شناسی یا داده های جغرافیایی باشند که وقتی با داده های داخل سازمانی مخلوط میشوند اساس کاوش داده را پی ریزی میکنند. اما وقتی داده برای انبار داده خلاصه شد، داده های مخفی و روابط و پیوستگی داده ها دیگر قابل تمییز نمی باشند. برای مثال یک ابزار نمیتواند دیگر به بررسی معمولی که بر روی سبد خرید مشتریها با داده های فروش که در هفته خلاصه شده بپردازد زیرا در خلاصه شدن جزییات و روابط و پیوستگیها از بین رفته است. به همین دلیل فایلها و بانکهای داده عملیاتی نیز بعنوان یک منبع معمول هستند زیرا شامل جزییات مبادلاتی و هزاران داده های مخفی هستند.
ابزارهای کاوش داده با بانکهای داده عملیاتی و انبار داده ها بطور مستقیم بدون ساخت بانک داده دست پیدا میکنند. اما بعضی از ابزارهای کاوش داده مثلا روابطی مانند Oracle ، طبقه بندی مانند IMS و حتی فایلهای مسطح مانند VSAM ترجیح میدهند خود نیز یک بانک داده داشته باشند. اما دسترسی مستقیم به انبار داده ها و داده های عملیاتی اصولا توصیه نمی شود .
زیرا:
09367292276
09367292276
azsoftir@gmail.com
azsoftir.com
09367292276
09367292276
azsoftir@gmail.com
azsoftir.com
حوضچه های داده Data Pool باید قادر باشند بسته به ابزار کاوش داده تغییر کنند اما تعویض جزئیات یک داده عملیاتی و یا بانکهای اطلاعاتی انبار داده ممکن نمیباشد.
عملکرد داده های عملیاتی و یا بانک داده با عملیاتهای جستجوی داده تحت تاثیر قرار میگیرند. این برای داده های عملیاتی غیر قابل قبول و برای انبار داده ها مطلوب نیست.
یک عملیات کاوش داده ممکن است به جزئیات تاریخی داده احتیاج داشته باشد. بانکهای اطلاعاتی عملیاتی جزئیات تاریخی را نگه نمی دارند و انبار داده ها جزئیات مطلوب را ندارد. بنابر این همانطور که در شکل صفحه قبل آمده است، سازمانها داده ها را برای کاوش داده با توجه به هدف کاوش از انبار داده و یا بانک داده عملیاتی استخراج می کنند
09367292276
09367292276
azsoftir@gmail.com
azsoftir.com
09367292276
09367292276
azsoftir@gmail.com
azsoftir.com