السلام عليكم ورحمة الله وبركاته .....أهلا بكم زوار المدونه الكرام
حديثنا اليوم عن تقنيه من التقنيات المهمه جدا التى أصبحت وبلا شك أحد أهم ركائز النجاح فى أى مشروع سواء كان صغيرا أو كبيرا أنتشرت تطبيقاتها بشكل ملحوظ فى الأونه الأخيره وأصبحت حديثا بين المهتمين بمجال تكنولوجيا المعلومات وعند سماعى عنها لأول مره كنت مهتم أن أبحث عنها لأتعرف عليها أكثر , وهذا الموضوع ما هو إلا ملخص بحث بسيط عن هذه التقنيه .
هذه التقنيه تسمى بالData mining :
وهى تعنى تعدين البيانات أو التنقيب عن البيانات وهى ببساطه إستخراج المعلومات المهمه أو النفيثه من كمية معلومات ضخمه بإتباع آليات معينه لتحليل هذه المعلومات .
ولفهم أهمية هذه التقنيه دعونا نضرب مثالا على بعض تطبيقاتها فى الحياه العمليه :
من أفضل الأمثله التى تُضرب لتوضيح مفهوم هذه التقنيه هو مثال السوبر ماركت فباستخدام أى من أنظمة قواعد البيانات التى تدعم هذه التقنيه مثل IBM, SQL Server, MS SQL, Oracle, BD2 يتمكن المسؤل من إستخراج معلومات تفيد فى معرفة أساليب الشراء
كمثلا يلاحظ أن هناك علاقة بين شراء منتجين ليس لهما علاقه ببعض يلاحظ مثلا أن من يشترى بطاريات يشترى معها مشروبات غازيه ومن يشترى أشرطة كاسيت يشترى معها خضروات مغلفه فعند ترتيبه للسلع بعد ذلك سيهتم بوضع البطاريات بجانب المشروبات الغازيه وأشرطة الكاسيت بجانب الخضروات المغلفه وبالطبع هذه الأشياء ستزيد من بيع السلع أو يجد أن مثلا يوم الأثنين والخميس تهتم الناس أكثر بشراء اللحوم عن غيرها من الأطعمه فبدلا من يكدث المتجر باللحوم طوال الأسبوع بدون فائده سيزيد من كميتها فقط يوميى الأثنين والخميس وبالطبع هذا الكلام ينطبق على قطاعات أخرى مثل البنوك والمستشفيات وغيرها من القطاعات المختلفه فمن خلال هذه التقنيه نستطيع إستخراج معلومات مفيده بل وذكيه من كمية معلومات مخزنه على جهاز الحاسب الألى
ويأتى مقترنا دائما مع تقنية ال Data Mining ما يسمى بال Warehousing ويعرف بمستودع البيانات أو مخزن البيانات وهو عباره عن مكان يتم تخزين فيه قواعد بيانات من أماكن مختلفه مع بعضها البعض ولكن كل قاعده مستقله بنفسها بغرض التحليل وعرض بيانات المنشئة بصورة تمكن الإدارة العليا من صنع القرار
فمثلا لو أن هناك شركه لها أكثر من فرع وكل فرع له قاعده بيانات مستقله فمن أجل إتخاذ القرار الصحيح عن منتج معين لهذه الشركه يتم تجميع قواعد البيانات الخاصه بكل فرع فى مكان واحد والقيام عليها بطرق المعالجه المناسبه ولكن يلاحظ بأن طريقة معالجة البيانات فى قواعد البيانات تختلف عنها فى مستودع البيانات
ففي قواعد البيانات تستعمل Online Transaction Processing OLTP
حيث أنه يمكن تعديل ، أضافه أو بحث عن بيانات بسرعة مع الاحتفاظ بتكامل قاعدة البيانات Database Integrity
أما في مخازن البيانات فتستخدم طريقة تحليل البيانات Online analytical processing (OLAP)
ولنتعمق أكثر لنفهم ما هى الخطوات المستخدمه فى تقنية Data Mining لأستخراج knowledge جديده من كمية معلومات ضخمه من أكثر من قاعدة بيانات موجوده فى warehousing وهذه العمليه تتضمن عدد من المراحل تبدأ من جمع البيانات الخام الى مرحلة الحصول على knowledge الجديدة ، وفيما يأتي عرض لهذه المراحل :
تنقية البيانات Data Cleaning :
وهي مرحلة عزل البيانات التي تحتوي على تشويش او شوائب Noise من مجموعة البيانات
كإلغاء المعلومات المتكررة ، التصحيح الشكلي ، معالجة البيانات الناقصة .
- توحيد البيانات Data Integration
هذه المرحلة غالبا ما تكون مصادر معالجة البيانات متغيرة العناصر وربما تكون مجتمعة في مصدر شائع .
- اختيار البيانات Data Selection :
في هذه المرحلة ، يتم تحديد واسترجاع البيانات الملائمة من مجموعة البيانات .
- نقل البيانات Data Transformation :
وهي عملية نقل البيانات التي تم اختيارها الى شكل ملائم لإجراءات البحث والاسترجاع.
- استخراج البيانات Data Mining :
في هذه المرحلة سيتم تطبيق اسلوب ذكي لاستخراج نماذج مفيدة قدر الإمكان .
- التصنيف Classification:
إيجاد مجموعات من المعلومات بناءً على خصائص مشتركة كتصنيف المناطق بناء على الإنتاج الزراعي أو تصنيف السيارات بناء على الوقود المستعمل ،تستعمل في هذه الحالة الطرق المستخدمة في الرياضيات الإحصائية أو الذكاء الاصطناعي مثل شجرة القرار أو الشبكات العصبية ،أو القواعد البايزية.
- الربط والتسلسل Association & Sequencing
استخراج العلاقة السببية بين البيانات كشراء طابعة يعني في نفس الوقت شراء ورق للطباعة ،أو العلاقة التسلسلية ففي حال شراء كمبيوتر فهنالك احتمال كبير لشراء طابعة في المستقبل مع إمكانية إعطاء نسبة مئوية للاحتمالات بناء على البيانات المتراكمة في المخازن .
- تقييم النموذج Pattern Evaluation :
بعد استخراج النماذج المهمة والتي تمثل المعرفة يتم تقييمها استنادا الى مقاييس محددة .
- تمثيل المعرفة Knowledge Representation :
وهي المرحلة الاخيرة من مراحل اكتشاف المعرفة في قواعد البيانات
وهي المرحلة التي يراها المستفيد ، هذه المرحلة الاساسية تستخدم الاسلوب المرئي لمساعدة المستفيد في فهم و وتفسير نتائج استخراج البيانات .
هذه كانت بعض النقاط المهمه فى تقنية Data Mining أرجو أن أكون وفقت فى تقريب مفهوم هذه التقنيه لكم وبالتوفيق لكم جميعا
وهى تعنى تعدين البيانات أو التنقيب عن البيانات وهى ببساطه إستخراج المعلومات المهمه أو النفيثه من كمية معلومات ضخمه بإتباع آليات معينه لتحليل هذه المعلومات .
ولفهم أهمية هذه التقنيه دعونا نضرب مثالا على بعض تطبيقاتها فى الحياه العمليه :
من أفضل الأمثله التى تُضرب لتوضيح مفهوم هذه التقنيه هو مثال السوبر ماركت فباستخدام أى من أنظمة قواعد البيانات التى تدعم هذه التقنيه مثل IBM, SQL Server, MS SQL, Oracle, BD2 يتمكن المسؤل من إستخراج معلومات تفيد فى معرفة أساليب الشراء
كمثلا يلاحظ أن هناك علاقة بين شراء منتجين ليس لهما علاقه ببعض يلاحظ مثلا أن من يشترى بطاريات يشترى معها مشروبات غازيه ومن يشترى أشرطة كاسيت يشترى معها خضروات مغلفه فعند ترتيبه للسلع بعد ذلك سيهتم بوضع البطاريات بجانب المشروبات الغازيه وأشرطة الكاسيت بجانب الخضروات المغلفه وبالطبع هذه الأشياء ستزيد من بيع السلع أو يجد أن مثلا يوم الأثنين والخميس تهتم الناس أكثر بشراء اللحوم عن غيرها من الأطعمه فبدلا من يكدث المتجر باللحوم طوال الأسبوع بدون فائده سيزيد من كميتها فقط يوميى الأثنين والخميس وبالطبع هذا الكلام ينطبق على قطاعات أخرى مثل البنوك والمستشفيات وغيرها من القطاعات المختلفه فمن خلال هذه التقنيه نستطيع إستخراج معلومات مفيده بل وذكيه من كمية معلومات مخزنه على جهاز الحاسب الألى
ويأتى مقترنا دائما مع تقنية ال Data Mining ما يسمى بال Warehousing ويعرف بمستودع البيانات أو مخزن البيانات وهو عباره عن مكان يتم تخزين فيه قواعد بيانات من أماكن مختلفه مع بعضها البعض ولكن كل قاعده مستقله بنفسها بغرض التحليل وعرض بيانات المنشئة بصورة تمكن الإدارة العليا من صنع القرار
فمثلا لو أن هناك شركه لها أكثر من فرع وكل فرع له قاعده بيانات مستقله فمن أجل إتخاذ القرار الصحيح عن منتج معين لهذه الشركه يتم تجميع قواعد البيانات الخاصه بكل فرع فى مكان واحد والقيام عليها بطرق المعالجه المناسبه ولكن يلاحظ بأن طريقة معالجة البيانات فى قواعد البيانات تختلف عنها فى مستودع البياناتففي قواعد البيانات تستعمل Online Transaction Processing OLTP
حيث أنه يمكن تعديل ، أضافه أو بحث عن بيانات بسرعة مع الاحتفاظ بتكامل قاعدة البيانات Database Integrity
أما في مخازن البيانات فتستخدم طريقة تحليل البيانات Online analytical processing (OLAP)
من خلال معالجة كميات ضخمة وتحليلها وإخراجها على شكل knowledge تسمح باستنتاجات وتحديد اتجاهات جديدة بدون أية إمكانية لتعديل البيانات أى أنه عند التعامل مع warehousing لا يمكن التعديل فى البيانات ويبقى التعامل معها فى إستخراج المعلومات
ولنتعمق أكثر لنفهم ما هى الخطوات المستخدمه فى تقنية Data Mining لأستخراج knowledge جديده من كمية معلومات ضخمه من أكثر من قاعدة بيانات موجوده فى warehousing وهذه العمليه تتضمن عدد من المراحل تبدأ من جمع البيانات الخام الى مرحلة الحصول على knowledge الجديدة ، وفيما يأتي عرض لهذه المراحل :
تنقية البيانات Data Cleaning :
وهي مرحلة عزل البيانات التي تحتوي على تشويش او شوائب Noise من مجموعة البيانات
كإلغاء المعلومات المتكررة ، التصحيح الشكلي ، معالجة البيانات الناقصة .
- توحيد البيانات Data Integration
هذه المرحلة غالبا ما تكون مصادر معالجة البيانات متغيرة العناصر وربما تكون مجتمعة في مصدر شائع .
- اختيار البيانات Data Selection :
في هذه المرحلة ، يتم تحديد واسترجاع البيانات الملائمة من مجموعة البيانات .
- نقل البيانات Data Transformation :
وهي عملية نقل البيانات التي تم اختيارها الى شكل ملائم لإجراءات البحث والاسترجاع.
- استخراج البيانات Data Mining :
في هذه المرحلة سيتم تطبيق اسلوب ذكي لاستخراج نماذج مفيدة قدر الإمكان .
- التصنيف Classification:
إيجاد مجموعات من المعلومات بناءً على خصائص مشتركة كتصنيف المناطق بناء على الإنتاج الزراعي أو تصنيف السيارات بناء على الوقود المستعمل ،تستعمل في هذه الحالة الطرق المستخدمة في الرياضيات الإحصائية أو الذكاء الاصطناعي مثل شجرة القرار أو الشبكات العصبية ،أو القواعد البايزية.
- الربط والتسلسل Association & Sequencing
استخراج العلاقة السببية بين البيانات كشراء طابعة يعني في نفس الوقت شراء ورق للطباعة ،أو العلاقة التسلسلية ففي حال شراء كمبيوتر فهنالك احتمال كبير لشراء طابعة في المستقبل مع إمكانية إعطاء نسبة مئوية للاحتمالات بناء على البيانات المتراكمة في المخازن .
- تقييم النموذج Pattern Evaluation :
بعد استخراج النماذج المهمة والتي تمثل المعرفة يتم تقييمها استنادا الى مقاييس محددة .
- تمثيل المعرفة Knowledge Representation :
وهي المرحلة الاخيرة من مراحل اكتشاف المعرفة في قواعد البيانات
وهي المرحلة التي يراها المستفيد ، هذه المرحلة الاساسية تستخدم الاسلوب المرئي لمساعدة المستفيد في فهم و وتفسير نتائج استخراج البيانات .
هذه كانت بعض النقاط المهمه فى تقنية Data Mining أرجو أن أكون وفقت فى تقريب مفهوم هذه التقنيه لكم وبالتوفيق لكم جميعا
