روشهای چندمتغیره پیوسته

 

رده بندی  ممیزی (آنالیز تشخیصی)

آنالیز تشخیصی ، راهکاری است برای آنکه متغیرها را در قالب گروههای مجزا از هم تفکیک کنیم، به صورتی که هر گروه در عین اینکه با گروه دیگر شباهت و همبستگی دارد، از انسجام لازم نیز برخوردار باشد. در واقع، آنالیز تشخیصی، اعضای جامعه مورد تحقیق را در قالب گروههای مجزا از هم طبقه بندی و تفکیک می کند، علاوه بر این تابع تشخیص معادله ای است که با داشتن مشخصات هر فرد از جامعه، می توان با قرار دادن این مشخصات در آن معادله، پیش بینی کرد که وی به کدام گروه تعلق دارد؛ به سخن دیگر منظور از انالیز تشخیصی ، گروه بندی داده ها به گروه های متجانس است، به گونه ای که مشاهدات هر گروه با یکدیگر شبیه باشند و مشاهدات گروه های مختلف نسبت به یکدیگر کمترین شباهت را داشته باشند. روشهای مختلفی برای گروه بندی مشاهدات یک جامعه به چندین گروه موجود است. این روشها به مشخص بودن تعداد گروهها و همچنین نوع متغیرهای مورد اندازه گیری بستگی دارد. این مطلب را می توان با استفاده از رایانه انجام داد. همچنین با استفاده از آنالیز تشخیصی توابعی بر حسب مقادیر متغیرهای مورد اندازه گیری، امتیازی برای عضویت در هر گروه محاسبه می شود. با ورود هر مشاهده جدید، می توان با محاسبه امتیاز آن بر حسب هر یک از توابع، وضعیت عضویت آن را در یکی از گروهها تعیین نمود. لازم است گفته شود که در آنالیز تشخیصی باید از هر یک از گروههای مورد نظر نمونه های مناسبی در اختیار داشت، تا بتوان با استفاده از نمونه های شناخته شده تابع را تشخیص را معلوم کرد.

در واقع، آنالیز تشخیصی، براساس مشخصه های مختلف ، برای گروه بندی مشاهدات به یکی از چندین گروه معلوم به کار می رود؛ مثلاً اگر بخواهیم کارگران را برحسب مهارت به سه گروه متخصص، ماهر و نیمه ماهر تقسیم کنیم، باید آنها را براساس مشخصه هایی که نمره داده شده است مورد اندازه گیری قرار دهیم. بدیهی است که این مجموعه اطلاعات و مشخصه ها باید در مورد نمونه های مناسبی از کارگران در گروههای فوق موجود باشد. متغیر وابسته که در اینجا با X_D نشان داده می شود، شماره گروهها را مشخص می کند. در واقع، هدف تکنیک آنالیز تشخیصی طبقه بندی ان است، بنابراین باید دارای تعداد محدودی گروه باشد. همچنین باید متغیرهای مستقل نیز تعداد محدودی باشد ، تا بتوان تابع تشخیص [1] را مشخص نمود. البته منظور از تابع تشخیص (X_D)، یک متغیر پنهان است که بر پایه ترکیب خطی متغیرهای مستقل ایجاد

 می شود. البته توجه داشته باشید که آنالیز تشخیصی تمامی فرضیات موجود در زمینه همبستگی پیرسون، یعنی روابط خطی میان متغیرها و وجود متغیرهای دارای مقیاس فاصله ای را حائز است. وانگهی این تکنیک،؛ درست نظیر رگرسیون چند گانه یک مدل خطی به دست می دهد که در آن متغیرهای تعیین کننده و مهم وارد مدل شده و متغیرهای نامناسب از آن خارج شده اند. از دیگر فرضیات مهم آن آنالیز، این است که متغیر وابسته به صورت یک متغیر دو یا چند مقوله ای واقعی باشد؛ مثلاً کشورهای پیشرفته و در حال توسعه و یا سه گروه متخصص، ماهر و نیمه ماهر باشد و نیز میان متغیرها همبستگی معنی داری مشاهده نشود.

تاریخچه

 نظریه آغازین مربوط به آنالیز تشخیصی، به دهه 1930 و آثار آماردان انگلیسی کارل پیرسون و دیگران در زمینه فواصل گروهها و یا ضرایب تشابه نژادی بر می گردد. به طور خاص، این تکنیک اولین بار توسط فیشر در سال 1936 ابداع شد و بر پایه روش شناسی مورد استفاده در رگرسیون خطی چند متغیره یعنی جبر ماتریس ها، جهت حل معادلات خطی توسعه یافت. روش شناسان دانشگاه هاروارد، در دهه های 50 و 60، علاقه بسیاری به این تکنیک برای مطالعه در حوزه آموزش و پرورش و روانشناسی نشان دادند. نرم افزارهای مختلفی جهت اجرای این تکنیک ابداع شده است که از این آنها BAYDA,ALLOC و IMSL دارای بیشترین کاربرد هستند. البته این تکنیک در غالب نرم افزارهای تحلیل آماری از جمله SPSS تعبیه شده است.

مهمترین کاربردهای این تکنیک را می توان چنین خلاصه کرد:

1- بررسی تفاوتهای بین گروهی؛

2- تعیین مناسب ترین روش تفاوت گذاری بین گروهها؛

3- تشخیص و حذف متغیرهایی که در ایجاد تمایز بین گروهها نقشی ندارند؛

4- طبقه بندی افراد مورد مطالعه در گروههای تعیین شده؛

5- آزمون میزان درستی و صحت طبقه بندی مشاهده شده با طبقه بندی پیش بینی شده.

منبع:جانسون و ویچرن،تحلیل آماری چندمتغیره کاربردی،ترجمه دکتر نیرومند،(۱۳۷۹)،انتشارات دانشگاه فردوسی مشهد.

کاربرد آمار در داده کاوی؛ قسمت سوم

اهداف تحليل  رگرسيون

با انجام رگرسيون مي خواهيم اهداف زير را دنبال كنيم :

1-  بدست آوردن رفتار متغيير y توسط متغيير x ،يعني اينكه متغير y  با تغيير x  در نمونه ها چه رفتاري را از خود نشان مي دهد. مثلا در نمونه اي اين رفتار خطي  است يا اينكه شكل منحني خواهد داشت.

 2- پيش بيني  بر اساس داده ها  براي نمونه هاي آينده، كه هدف اصلي در داده كاوي از طريق متدهاي آماري است. مثلا از روي اطلاعاتي مثل داشتن كارت اعتباري يك فرد جديد، نوع جنسيت او، سن فرد و ميزان درآمد ساليانه او بتوان حدس زد كه اين فرد از بيمه عمر استفاده مي كند يا خير. و يا اينكه با داشتن اطلاعات در مورد داشتن يا نداشتن كارت اعتباري و  بيمه عمر و سن فرد بتوان جنسيت فرد را تعيين كرد.

 3- استنباط استنتاجي يا تحليل حساسيت، تعيين اينكه اگر x  به اندازه خاصي تعيير كند y  تا چه اندازه تغيير خواهد كرد. هدف از فهميدن اينكه چگونه تغييرات y  تابعي از x است. بايد توجه داشت كه نوع تغييرات مدل رگرسيوني خاصي را مي دهد.

اهداف مدلسازي براي تشريح ارتباط بين x و y  استفاده از نتايج مدل براي پيش بيني كاربردهاي تخمين عبارت است. اما استنباط استنتاجي يك مقوله ظريف تري است. زماني كه به استنباط آماري فكر ميكنيم در واقع درباره متغيير رفتاري و متغيير هاي كنترل فكر مي كنيم.

متغييرهاي رفتاري مشخصه هايي را ارايه ميكنندكه تبحروتجربه خاصي دارنديا اينكه قابليت آن نبحر را دارند.مثلا مقدار دز دارو كه براي بيمار استفاده مي شود در تجربه پزشكي .همچينين متغييرهاي كنترل ديگر ويژگي  ها در يك محيط آزمايشي را اندازه ميگيرند،از قبيل وزن بيمار كه قبل از رفتار اندازه گيري مي شود.

اگر ما براي يكي از متغيير هاي رفتاري، كنترل انجام دهيم، رگرسيون ما احتمالا استنباط هاي استنتاجي را درست حدس ميزند.و اگر ما علاقه مند به هر دو مورد پيش بيني انتخاب سهم وتخمين اثرات علتها باشيم  تايید هر دومورد را بعنوان متغييرهاي خروجي كه همپوشاني دارند در نظر مي گيريم.

روشهاي مختلف رگرسيون براي داده كاوي وجود دارد .رگرسيون  خطي بيشترين كاربردرا دارد وهمچنين مشتقات آن حايزاهمييت است.يك نمونه از آن مشتقات آن رگرسيون  خطي سلسله  مراتبي يا رگرسيون چند سطحي است. اين روش يكي از ابزارهاي تحليل دادههاي پيچيده از قبيل افزايش فر كانس در تحقيقات مقداري را شامل مي شود.مدلهاي رگرسيون چند سطحي براي حالتهايي كه همپوشاني در سطوح مختلف وجود دارد مفيد است. براي مثال اطلاعات آموزشي ممكن است اطلاعاتي از قبيل اطلاعات فردي دانش آموزان (نام، نام خانوادگي و در كل پيش زمينه خانوادگي)،اطلاعات سطح  كلاس از قبيل ويژگي هاي معلم وهمچينين اطلاعات درباره مدرسه همانند سياست آموزشي و... باشد. حالت ديگر مد لهاي چند سطحي ،تحليل  دادههاي بدست آمده از نمونه هاي خوشه بندي شده است. يك خانواده از مدلهاي رگرسيون، به عنوان متغييرهاي شاخص بري رتبه بندي يا خوشه بندي است علاوه بر اينكه همپوشاني را اندازه مي گيرد. با نمونه خوشه بندي  شده مدلسازي چند سطحي براي توسعه نمونه هايي كه داخل خوشه نيستند،لازم است.

در روش رگرسيون چند سطحي  يا سلسله مراتبي محدوديتي براي تعداد سطوح تغيير كه مي تواند انجام شود،وجود نداردروشهاي بيزي در تخمين پارامترهاي مجهول كمك مي كند،هرچند كه محاسبات  پيچيده اي دارد.ساده ترين توسعه از رگرسيون همپوشاني مجموعه اي از متغيرهاي شاخص براي كلاس بندي نمونه هاي آموزشي يا رتبه بندي وخوشه بندي درنمونه هاي داده  شده است.همچنين به عنوان  توسعه رگرسيون خطي  در  نظر گرفته مي شود،كه در ادامه به توضيح آن مي پردازيم[ :

 

1- رگرسیون خطیLinear regression))

یکی از هدفهای اصلی بسیاری از پژوهشهای آماری ا یجاد وابستگی هایی است تا پیش بینی یک یا چند متغیر را بر حسب سایرین ممکن می سازد.مثلاَُ مطالعاتی انجام می شودتا فروشهای بالقوهُ یک محصول جدید را بر حسب قیمت آن،وزن یک بیماررا بر حسب تعداد هفته هایی که پرهیز داشته است،پیش بینی کند.

در عمل مسایل متعددی وجود دارند که در آن ها مجموعه ای از داده ها زوج شده بر آن دلالت می کند که رگرسیون خطی است و در آن توزیع توأم متغیرهای تصادفی تحت بررسی رانمی دانیم اما با این حال می خواهیم که ضرایب رگرسیون را برآ ورد کنیم.

روش رگرسیون خطی یک تکنیک یادگیری نظارتی است که به وسیله آ ن می خواهیم تغییرات یک متغیر وابسته بوسیلهُ ترکیب خطی از یک یا چند متغیر مستقل مدل کنیم . حالت کلی معادله آن به این صورت است :

 

(1)                                             f(x₁+x₂+…+x_n)=a₁x₁+a₂ x₂+…+a_n x_n+b

 

که xها متغیر مستقل و aهاو b ضرایب ثابت هستند وf(x₁.x₁…x_n) متغیر وابسته می باشند.حالت ساده این معادله بصورت    (2) y=ax+b   است که در اینجا  yمتغیر وابسته است به حالت ساده شده معادله 1(یعنی معادله2)  shope-intercept fromمی گویند.

یک روش برای تعیین ضرایب a,b روش حداقل مربعات است.ملاک کمترین مربعات این است  که مجموع مربعات ا نحراف ها را مینیمم کنیم؛بنابراین اگر مجموعهای از داده های زوج شده مانند {(x_i,y_i),i=1,2,…,n} داده شده باشد، برآ وردهای کم ترین مر بعات ضرایب رگرسیون، مقادیری مانندa,bهستند که به ا زای آنها کمیت مینیمم است .

بنابر این در حالت ساده اگر یک نمونه n تایی داشته داشته باشیم مقادیر a,bرا از طریق روابط زیر برآورد می کنیم :

مزیت رگرسیون خطی این است که فهمیدن و کار با آن ساده است در حالت کلی برای استراتژی و پیش بینی مناسب است. با بکار بردن این روش از نتایج خروجی می توان دریافت که این روش مناسب بوده یا خیر . بنابر این معیارهایی داریم که با استفاده از آنها می توان دریافت که آیا می توان به نتایج خروجی اطمینان کرد یا خیر.

آنچه در انجام رگرسیون مهم به نظر می رسد،تعیین میزان همبسته بودن داده ها به یکدیگر است.با مشخص کردن میزان همبسته بودن داده های متغیرهای ورودی و خروجی می توان دریافت که رگرسیون خطی برای انجام داده کاوی مناسب است یا خیر، بنابراین ضریب همبستگی و برآوردهای آن در بسیاری از پژوهشهای آماری اهمیت دارند. شرایطی که وقتی چند متغیر پیشگوx_i)) با یکدیگر هم پوشانی دارند،این هم پوشانی منجر نااستواری و تزلزل  در فضای جواب می شود،همچنین منجر به نتایج بی ارتباط(بی ربط) می شود.حتی اگر از این تزلزل اجتناب شود هم پوشانی بین متغیرهایی که میزان بین متغیرهایی همبستگی آنها زیاد است ،منجر به تاکید کردن روی بخش خاصی از مدل می شود.

بنابر این از بین متغیر های ورودی مواردی که با هم بستگی زیادی دارند، نباید با هم در تعیین ارزش متغیر خروجی بکار برده شوند.

 

2- رگرسیون لجیستسکLogistic Regression

این روش یکی از تکنیکهای یادگیری نظارتی و در حالتی که نتایج خروجی به صورت binary هستند،مورد توجه قرار می گیرد. در کل زمانی نتایج خروجی به صورت binary هستند رگرسیون خطی خیلی کارا نیست،در این حالت استفاده از این تکنیک مناسب تر است.نکته دیگر اینکه این روش یک تکنیک رگرسیون غیر خطی است و لزومی ندارد که داده ها حالت خطی داشته باشند.ا گر بخواهیم دلیل استفاده Logistic regression را بیان کنیم باید اینگونه بحث کنیم در رگرسیون خطی علاوه بر اینکه نتایج خروجی باید به صورت عددی باشد،متغیر ها هم باید به صورت عددی باشد بنابراین حالتهایی که به صورت کتگوری ( قیاسی) هستند باید به حالت عددی تغییر شکل پیدا کنند.مثلاُ جنسیت افراد از حالت زن و مرد بوده به ترتیب به  حالتهای 0 و1تغییر پیدا می کند.در این روش اگر نتایج خروجی(متغیر خروجی) بصورت    binary باشد می تواند مفید باشد. چون اساس رگرسیون خطی در این حالت ایراد پیدا می کند و ارزش قیدی که بر روی متغیر وابسته قرار می گیرد توسط معادله رگرسیون در نظر گرفته نمی شود.

در وا قع چون رگرسیون خطی،معاد له یک خط را ترسیم می کند،نمی تواند حالت مثبت و منفی یا به عبارتی صفر و یک را در نظر بگیرد. به همین دلیل برای اینکه بتوان حالتهای binary را هم در نظر گرفت، باید شکل معادله را تغییر داد.با این تغییر شکل معادله رگرسیون احتمال اتفاق افتادن یا اتفاق نیفتادن یک واقعه را بدست می دهد.

با تغییر شکل رگرسیون خطی به حالت Logistic regression این مشکل حل می شود.

 

داده های زیر را وارد Excel کرده و ضرایب متغیر ها و مقدار ثابت  bرا توسط تابع  LINESTبدست می آوریم. داده ها و نتایج به این صورت می باشد :

 

Computed probability	Life insurance promotion	age	sex	Credit card insurance	income	instance
0.007	0	45	1	0	40	1
0.987	1	40	0	0	30	2
0.024	0	42	1	0	40	3
1.000	1	43	1	1	30	4
0.999	1	38	0	0	50	5
0.049	0	55	0	0	20	6
1.000	1	35	1	1	30	7
0.584	0	27	1	0	20	8
0.005	0	43	1	0	30	9
0.981	1	41	0	0	30	10
0.985	1	43	0	0	40	11
0.380	1	29	1	0	20	12
0.999	1	39	0	1	50	13

 

این مثال 4 مشخصه ورودی و یک مشخصه خروجی دارد که ضرایب متغیرهای ورودی در زیر محاسبه شده است :

ax+b= 0.0001income+19.827credit card ins-8.314sex+0.415age+17.691

 

با این معادله می توان نتایج life insuranee promotion بدست آ ورد ، که همانطور که در جدول فوق نشان داده شده نتایج محاسبه شده با متغیر وابسته هم خوانی زیادی دارد. حال اگر نمونه جدیدی به این صورت داشته باشیم :

 

In cone=35k       credit card Insuranee=1    sex=0   age=39

 

با محاسبات احتمال بدست آمده برابر 0.999 می باشد. که این فرد یک کاندیدا را برای بیمه عمرLife(Insuranee promotion می باشد. حالت دیگر اینکه نمونه جدید به صورت :

 

Ineome=35k        credit card  Insuran =0     sex=1   age=39

 

باشد در این حالت مقدار احتما لی بدست آمده برابر 0.035 است که نشان می دهد یک مرد 39 ساله که در آمد سالیانه او 35000 است و بیمه کارت اعتباری ندارد یک نمونه ضعیف برای داشتن بیمه عمرا ست.

3-  Bayse classsifire

این مقدار یکی از روشهای ساده یادگیری نظارتی است، که در آن فرض می شود که تمام متغیرها ی ورودی به یک اندازه مهم هستند و مستقل از هم می باشند و نیز اگر یکی از شرایط هم برقرار نباشد این روش در شرایطی کاربرد دارد این روش بر اساس تئوری بیز بنا شده است.

Bayse classifier برخلاف اکثر روشهای آماری برای حالتی که مقدار دادهُ یک متغیر ورودی نامعلوم است نیز کاربرد دارد.

مطلب دیکر اینکه زمانی که مقدار یک احتمال صفر باشد چون احتمال ها در هم ضرب می شوند کل احتمال صفر خواهد شد مثلاُ وقتی که  باشد مقدار احتمال خواهد شد،Bayes classifier برای رفع این مشکل به یک مقدار k به صورت کسر ضرب در یک احتمال p و یک مقدار  kبه مخرج اضافه می کند.

که  kمقداری بین صفر و یک دارد که معمولاُ مقدار یک می گیرد و نیز p بستگی به تعداد انتخابهای متغیر خروجی دارد مثلاُ اگر متغیر خروجی دو حالتی باشد(yes,No)،مقدار p برابر 0.5 می باشد.

علاوه برا ین روش (Bayse chassifire) برای حالت Missing data نیز کاربرد دارد. یعنی اگر مقدار یکی از مشخصه های ورودی در یک نمونه جدید را نداشته باشیم. در این روش این مشخصه را کلاُ حذف می شود.

کاربرد آمار در داده کاوی؛ قسمت دوم

كاربردهاي روشهاي آماري

Data  mining   معمولا  وظايف يا به  عبارت بهتر استراتژهاي  زير را  در  داده ها بكار  مي برد :

 - توضيح و تفسير (description)

- تخمينestimation)  )

- پيش بينيprediction)  )

- كلاس بنديclassification) )

- خوشه سازي  (clustering) 

- وابسته سازي وايجاد رابطه (association)

در جدول زير  استراتژي ها  و روشهاي هر استراتژي مشخص شده است :

 

روشها	استراتژيها
تحليل  داده ها	توضيح  وتفسير
تحليل هاي آماري	تخمين
تحليل هاي آماري	پيش بيني
الگوريتم نزديك ترين همسايه	كلاس بندي
درخت  تصميم	كلاس بندي
شبكه هاي عصبي	كلاس بندي
خوشه سازي  k-mean	خوشه سازي
شبكه هاي kohonen	خوشه سازي
وابسته سازي  و ايجاد رابطه	رابطه سازي

 

البته بايد  گفت كه روشهاي data mining  تنها  به يك استراتژي خاص محدود  نمي شوندو  نتايج  يك را همپوشاني بين روشها نشان  مي دهد. براي مثال درخت تصميم ممكن است كه دركلاس بندي تخمين وپيش بيني كاربرد داشته باشد. بنابراين اين جدول را نبايد به عنوان تعريف تعريف تقسيم بندي از وظايف در نظرگرفته شود‏‎ بلكه به عنوان يك خروجي از آنچه كه ما به عنوان وظايف dataminig  آشنايي پيدا كرديم در نظر گرفته مي شود.

همانگونه كه ازجدول پيداست روشهاي آماري  در مباحث تخمين و پيش بيني كاربرد دارند. در تحليل آماري تخمين و پيش بيني عناصري از استنباطهاي آماري هستند.استنباطهاي آماري شامل روشهايي براي تخمين و تست فرضيات درباره جمعيتي از ويژگيها براساس اطلاعات حاصل از نمونه است .يك  جمعيت شامل مجموعه اي از عناصر از قبيل افراد، ايتم ها، يا داده ها يي كه دريك مطالعه خاص آمده است. بنابراين در اينجا به توضيح اين  دواستراتژي مي پردازيم.

 

1- تخمين

در تخمین به دنبال این هستیم  که مقدار یک مشخصه خروجی مجهول را تعیین کنیم،مشخصه خروجی در مسائل تخمین بیشتر عددی هستند تا قیاسی. بنابراین مواردی که بصورت قیاسی هستند باید به حالت عددی تبدیل شوند. مثلا موارد بلی،خیر به 0 و1 تبدیل می شود.  

تكنيكهاي نظارتي DM قادرند یکی از دو نوع مسایل کلاس بندی یا تخمین را حل کنند، نه اینکه هر دو را. یعنی اینکه تکنیکی که کار تخمین را ا نجام می دهد، کلا س بندی نمی کند.

روشهاي آماري مورد استفاده دراين مورد بطوركلي شامل تخمين نقطه و فاصله اطمينان ميباشد. تحليل هاي آماري تخمين و تحليل هاي يك متغيره و... از اين جمله  مي باشند.

در توضيح اينكه چرا به سراغ تخمين مي رويم بايد گفت كه مقدار واقعي پارامترها براي ما ناشناخته است.مثلا مقدار واقعي ميانگين يك جامعه مشخص نيست. داده ها ممكن است كه بطور رضايت بخشي جمع آوري نشده باشد‏ يا به  عبارتي warehouse نشده باشد. به همين دليل تحليل گران از تخمين استفاده ميكنند.

در خيلي از موارد تعيين ميانگين مجموعه اي از داده ها براي ما مهم است.مثلا ميانگين نمرات درسي يك كلاس،ميانگين تعداد نفراتي كه در يك روز به بانك مراجعه مي كنند،متوسط مقدار پولي كه افراد دريك  شعبه خاص از بانك واريز مي كنند و موارد اين چنيني.

زمانی که مقدار یک آماره را برای براورد کردن پارامتر یک جامعه به کار ببریم، آن پارامتر را تخمین زده ایم و به مقدار این آماره برآورد نقطه ای پرامتر اطلاق می کنیم. در واقع از کلمه نقطه برای تمایز بین براورد کننده های نقطه ای و فاصله ای استفاده می کنیم. از مهمترین تخمین زننده ها  است که به ترتیب برآورد واریانس و میانگین جامعه هستند. خود برآورد کننده ها دارای خاصیت هایی چون ناریبی، کارایی، ناسازگاری، بسندگی و... هستند، که هر یک به بیان ویژگی خاصی از آنها می پردازند و میزان توانایی آنها را در تخمین درست و دقیق یک پارامتر تعیین می کنند.  

در مواردي نيز تخمين فاصله براي ما اهميت دارد. فاصله اطمينان شامل فاصله اي است كه  با درصدي از اطمينان مي توانيم بگوييم كه مقدار يك  پارامتر درون اين فاصله قرار مي گيرد. به عبارت دیگر اگر چه برآورد نقطه ای طریقه متداول توصیف برآورد هاست اما درباره آن، جا برای پرسشهای زیادی باقی است. مثلا برآورد نقطه ای به ما نمی گوید که برآورد بر چه مقداری از اطلاعات مبتنی است و چیزی درباره خطا بیان نمی کند. بنابراین می توانیم که برآورد  پارامتر  را  با بعلاوه کردن اندازه کردن اندازه نمونه و مقدار واریانس  ،یا اطلاعات دیگری درباره توزیع نمونه گیری  کامل کنیم.این کار ما را قادر می سازد که اندازه ممکن خطا را برآورد کنیم.

 

2- پيش بيني) prediction (

هدف از انجام پیش بینی تعیین ترکیب خروجی با استفاده از رفتار موجود می باشد. یعنی در واقع رسیدن به یک نتیجه بوسیله اطلاعات موجود از داده ها. مشخصه های خروجی در این روش هم می توانند عددی باشند و هم قیاسی. این استراتژی در بین استراتژی های data mining از اهمیت خاصی بر خوردار است، و مفهوم کلی تری را نسبت به موارد دیگر دارد. خیلی از تکنیکهای نظارتی  data mining كه براي كلاس بندي و تخمين مناسب هستند در واقع كار پیش بيني انجام مي دهند.

آنچه از كتابهاي آماري و data minig تحت عنوان پيش بيني برمي آيد رگرسيون و مباحث  مر بوط به آن است . در واقع در اكثر اين كتابها هدف اصلي از انجام تحليل هاي آماري براي داده  كاوي، رگرسيون  داده  هاست و اين بعنوان وظيفه اصلي متد هاي آماري معرفي مي شود.

کاربرد آمار در داده کاوی؛ قسمت اول

كاربرد آمار در داده كاوي

همانگونه که واضح و مشخص است با گذشت زمان علم نیز پیشرفت می کند، هر چه به جلوتر می رویم روشهای جدیدتر و بهتر مورد استفاده قرار می گیرد. علم امروز نسبت به دیروز جدیدتر است. روشهای جدید علمی در پی کشف محدودیت های روشهای قدیمی ایجاد می شود و از آنجایی که روشهای آماری جزء روشهای قدیمی Data mining محسوب می شوند، از این قاعده کلی که دارای محدودیت هستند مستثنی نیستند. داشتن فرض اولیه در مورد داده ها، یکی از این موارد است. در اینجا به تشریح بیشتر تفاوت های بین مباحث و متدهای آماری و دیگر متدهای داده کاوی که در کتابهای مختلف بحث شده است می پردازیم.

تکنیکهای داده کاوی و تکنیکهای آماری در مباحثی چون تعریف مقدار هدف برای پیش گویی، ارزشیابی خوب و داده های دقیق (تمیز) (clean data) خوب عمل می کنند، همچنین این موارد در جاهای یکسان برای انواع یکسانی از مسايل (پیش گویی، کلاس بندی و کشف) استفاده می شوند، بنابراین تفاوت این دو چیست؟چرا ما آنچنان که علاقه مند بکاربردن روشهای داده کاوی هستیم علاقه مند روشهای آماری نیستیم؟ برای جواب این سوال چندین دلیل وجود دارد. اول اینکه روشهای کلاسیک داده کاوی از قبیل شبکه های عصبی، تکنیک نزدیک ترین همسایه روشهای قوی تری برای داده های واقعی به ما می دهند و همچنین استفاده از آنها برای کاربرانی که تجربه کمتری دارند راحت تر است و بهتر می توانند از آن استفاده کنند. دلیل دیگر اینکه بخاطر اینکه معمولاُ داده ها اطلاعات زیادی در اختیار ما نمی گذارند، این روشها با اطلاعات کمتر بهتر می توانند کار کنند و همچنین اینکه برای داده ها وسیع کابرد دارند.

در جایی دیگر اینگونه بیان شده که داده های جمع آوری شده نوعاُ خیلی از فرضهای قدیمی آماری را در نظر نمی گیرند، از قبیل اینکه مشخصه ها باید مستقل باشند، تعیین توزیع داده ها، داشتن کمترین همپوشانی در فضا و زمان اغلب داده ها هم پوشانی زیاد می دارند، تخلف کردن از هر کدام از فرضها می تواند مشکلات بزرگی ایجاد کند. زمانی که یک کاربر (تصمیم گیرنده) سعی می کند که نتیجه ای را بدست آورد. داده های جمع آوری شده بطورکلی تنها مجموعه ای از مشاهدات چندی بعد است بدون توجه به اینکه چگونه جمع آوری شده اند.

در جایی پایه و اساس Data mining به دو مقوله آمار و هوش مصنوعی تقسیم شده است که روشهای مصنوعی به عنوان روشهای یادگیری ماشین در نظر گرفته می شوند.فرق اساسی بین روشهای آماری و روشهای یادگیری ماشین  (machine learning) بر اساس فرضها و یا طبیعت داده هایی که پردازش می شوند.بعنوان یک قانون کلی فرضها تکنیکهای آماری بر این اساس است که توزیع داده ها مشخص است که بیشتر موارد فرض بر این است که توزیع نرمال است و در نهایت درستی یا نادرستی نتایج نهایی به درست بودن فرض اولیه وابسته است.در مقابل روشهای یادگیری یادگیری ماشین از هیچ فرض در مورد داده ها استفاده نمی کند و همین مورد باعث تفاوتهایی بین این دو روش می شود.

به هر حال ذکر این نکته ضروری به نظر می رسد که بسیاری از روشهای یادگیری ماشین برای ساخت مدل dataset از حداقل چند استنتاج آماری استفاده می کنندکه این مساله بطور خاص در شبکه عصبی دیده می شود.

بطور کلی روشهای آماری روش های قدیمی تری هستند که به حالت های احتمالی مربوط می شوند.Data mining جایگاه جدید تری دارد که به هوش مصنوعی یادگیری ماشین سیستمهای اطلاعات مدیریت (MIS) و متدلوژی Database مربوط می شود.

روشهای آماری بیشتر زمانی که تعداد دادهها کمتر است و اطلاعات بیشتری در مورد داده ها می توان بدست آورد استفاده می شوند به عبارت دیگر این روشها با مجموعه داده ها ی کوچک تر سر و کار دارند همچنین به کاربران ابزارهای بیشتری برای امتحان کردن داده ها با دقت بیشتر فهمیدن ارتباطات بین داده ها می دهد. بر خلاف روشهایی از قبیل شبکه عصبی که فرآیند مبهمی دارد. پس به طور کلی این روش در محدوده مشخصی از داده های ورودی بکار می رود.بکار بردن این روشها مجموعه داده های مجموعه داده های زیاد احتمال خطا در این روشها را زیاد می کند.چون در داده ها احتمالnoise  وخطا بیشتر می شود و نیز روشهای آماری معمولابه حذف  noiseمی پردازند، بنابراین خطای محاسبات در این حالت زیاد می شود.

در بعضی از روشهای آماری نیازداریم که توزیع داده ها را بدانیم. اگر بتوان به آن دسترسی پیدا کرده با بکار بردن روش آماری می توان به نتایج خوبی رسید.

روشهای آماری چون پایه ریاضی دارند نتایج دقیق تری نسبت به دیگر روشهای Data mining ارائه می دهند ولی استفاده از روابط ریاضی نیازمند داشتن اطلا عات بیشتری در مورد داده ها است.

مزیت دیگر روشهای آماری در تعبیر و تفسیر داده ها است. هر چند روشهای آماری به خاطر داشتن ساختار ریاضی تفسیر سخت تری دارند ولی دقت نتیجه گیری و تعبیر خروجی ها در این روش بهتر است بطور کلی روشهای آماری زمانی که تفسیر داده ها توسط روشهای دیگر مشکل است بسیار مفید هستند.

تفاوتهای کلی روشهای آماری و دیگر روشهای Data mining  در جدول اريه شده است :

 

روشهای آماری	دیگر روشهای Data mining
داشتن فرض اولیه	بدون فرض اولیه
تنها برای داده های  عددی کاربرد دارند	در انواع مختلفی از داده ها کاربرد دارند نه فقط داده های عددی
در محدوده کوچکی از داده ها	در محدوده وسیع تری از داده ها
حذفnoise ها ، داده های نامشخص ووفیلتر کردن dirty data	Data mining به دادهای درست clean data بستگي دارند
روشهای رگرسیون و استفاده از معادلات	استفاده از شبكه عصبي
استفاده از چارتهای دو بعدی و سه بعدی	استفاده ازData visualization
استفاده از روابط ریاضی	استفاده از روشهای یادگیری ماشین و هوش مصنوعی
در  descriptive statisticalوcluster   analysis  کاربرد دارد.	در یادگیری غیر نظارتی کاربرد بیشتر دارد

 

 

همچنین می توان گفت که در DM داده ها اغلب بر اساس همپوشانی نمونه هاست،نسبت به اینکه بر اساس احتمال داده ها باشد.همپوشانی نمونه ها برای آشنایی همه انواع پایه ها برای تخمین پا را مترها مشهور است. وهمچنین اغلب استنتاج های آماری نتایج ممکن است مشارکتی باشد تا اینکه سببی باشند. 

تکنیکهای ماشین را به سادگی می توان تفسیر کرد .مثلاَُ روش شبکه عصبی بر اساس یک مدل ساده بر اساس مغز انسان استوار است.یعنی همان ساختار مغز انسان را اجرا می کنند ولی خروجی های بسیاری از روشهای آماری ساختار ریاضی دارند،مثلاَُ یک معادله است که تعبیر و تفسیر آن مشکل تر است.در مورد روش های آماری بایداین مطلب را گفت بدون توجه به اینکه مدل کاربردی،مدل آماری است یا خیر،تستهای آماری می تواند برای تحلیل نتایج مفید باشد.

با ارايه توضیحات داده شده درباره های تفاوتهای روشهای آماری و دیگر روشهای DM در ادامه به کابردهای روش روشهای آماری و بحثهای مشترک آمار وDM  می پردازیم .

اندازه گیری و کالیبراسیون

اندازه گیری و کالیبراسیون

ريزنگري (Resolution) وسيله اندازه گيري، يکي از مهمترين ملاحظات در اندازه گيري مي باشد و اينگونه تعريف مي شود : حداقل تغيیر در مقداري که وسيله اندازه گيري مي تواند نشان دهد . اين بدان معناست که اگر صفحه نمايش يک وسيله اندازه گيري به صورت 10 تايي تقسيم بندي شده و شما مي توانيد از محل قرار گيري عقربه عدد 15 را بخوانيد ، اين قرائت شما کاملا اشتباه است و اساسا اين دستگاه نميتواند عدد 15 را تشخيص دهد . از ديگر کاربردهاي اين تعريف انتخاب دستگاه اندازه گيري مناسب براي مورد مصرف شماست به اين صورت که اگر شما دقت خاصي را در نظر داشته باشيد و دستگاه شما با دقت کمتر باشد طبيعتا مقادير شما درست نخواهد بود ولي آيا اگر دستگاه داراي دقت بيشتر باشد آيا مشکلي ايجاد خواهد شد؟

جواب اين است بله . دلايل اينها هستند :

اگر لازم باشد که يک بعد از قطعه اي فقط تا 0.15 ميليمتر اندازه گيري شود ، استفاده از وسيله اي با ريز نگري 0.015 ميليمتر مزيتي ندارد . يک دليل براي آن اين است که در اغلب وسايل اندازه گيري رابطه معکوسي بين ريزنگري و دامنه (Range) وجود دارد به اين صورت که هر چه ريزنگري بيشتر باشد دامنه محدودتر است .

هر چه ريزنگري بالاتر باشد تاثير پذيري از عوامل بيروني بخصوص لرزش ، درجه حرارت و گردوغبار بيشتر خواهد بود . اين موضوع ، عمل قرائت اندازه را دشوار ساخته و ممکن است سبب نا رضايتي و ناراحتي اپراتور گردد.

اشکال مهمتر اينکه اپراتور ، اعتماد بيش از اندازه اي نسبت به مقداري که توسط ابزار اندازه گيري ، نشان داده مي شود مي نمايد . به عنوان مثال اگر قطر قطعه اي 2.406 ميليمتر اندازه گيري شده باشد ممکن است رقم آخر بي معني باشد مگر اينکه شکل هندسي قطعه مناسب بوده و شرايط اندازه گيري ، صحت رقم آخر را توجيه کند . حتي اگر اپراتور بخواهد اين قطر را در محدوده مثبت و منفي  0.025 ميليمتر اندازه گيري کند ، اين وسواس ممکن است وجود داشته باشد که اندازه قطر قطعه دقيقا برابر 2.406 ميليمتر مي باشد .

صحت (Accuracy) به معني نزديک بودن به واقعيت مي باشد . بيشتر اوقات اصطلاحات تکرار پذيري و صحت با يکديگر اشتباه گرفته مي شوند . در مورد صحت يک ميکرو متر يا يک وسيله اندازه گيري الکترونيکي ، اين اصطلاح به ميزاني که وسيله اندازه گيري مورد نظر مي تواند اندازه واقعي قطعه را بسنجد اطلاق مي گردد. براي سادگي مطلب يک بلوک سنجه (gage block) داراي يک طول واقعي مشخص است و وقتي که آن را اندازه گيري مي کنيم از اين اندازه واقعي اطمينان حاصل مي نماييم . اما بنا به دلائلي اندازه اين طول واقعي را هيچگاه نميتوان به طور کاملا دقيق تعيين نمود ، بلکه فقط مي توان آنرا با تقريب بيان کرد . اگر عمل اندازه گيري نشان دهد که اين بلوک سنجه داراي طولي برابر با 25.00 ميليمتر بوده و معلوم گردد که صحت عمل اين اندازه گيري تا مثبت و منفي 0.025 ميليمتر ميباشد ، طول واقعي بلوک سنجه بين 25.025 و 24.975 قرار مي گيرد .

تکرار پذيري (Repeatability)  : اولين نيازمندي هر سيستم اندازه گيري اين است که داراي تکرار پذيري کافي باشد . به عنوان مثال اگر طول يک بلوک سنجه چندين بار اندازه گيري شده و نتايج حاصله از اين اندازه گيري ها با يکديگر اختلاف زيادي داشته و در محدوده وسيعي قرار گيرند اين نتايج بي معني بوده و سيستم اندازه گيري مطلوب و مناسب نمي باشد . تکرار پذيري گروهي از اندازه گيري هاي تکراري عبارتست از ميزان يا حدي که اين اندازه ها نزديک به هم قرار مي گيرند . اين ميزان عموما بر حسب اصطلاحات آماري بيان مي گردد. بلوک سنجه اي را در نظر بگيريد که طول آن با يک وسيله اندازه گيري مقايسه اي الکترونيکي به دفعات زيادي اندازه گيري مي شود . اگر اين وسيله اندازه گيري داراي ريزنگري کافي باشد ، در هر بار اندازه گيري تفاوت جزئي را نشان خواهد داد . اين اختلاف ، ناشي از عوامل متعددي است . درجه حرارت ممکن است تغيير کند ، ذرات ريز گرد و غبار موجود در محيط ممکن است در برخي اندازه گيري ها بين محل تماس وسيله اندازه گيري و سطح بلوک سنجه قرار گيرد ، فشار تماس ابزار و قطعه ممکن است تغييرات جزئي داشته باشد و ... . اين عوامل ، تصادفي بوده و مقادير حاصل از اندازه گيري ها نيز تصادفي ميباشد . اگر مقادير اندازه گيري شده ، به ترتيب ، داراي سير صعودي يا نزولي باشند ، سيستم داراي ثبات نبوده و تا زماني که اين تغييرات از بين نروند ، مقادير خوانده شده قابل قبول نخواهند بود . در شرايط عادي مقادير اندازه گيري شده از توزيع نرمال تبعيت مي کنند .

 

تاریخچه کنترل کیفیت

تاریخچه کنترل کیفیت

 

در قرون وسطی به دلیل سادگی فرآیند تولید , هر کارگر می توانست تمام قسمت های یک کالا را به تنهایی بسازد . از این رو لذت حاصل از تولید کل کالا به جایی جزئی از آن کافی بود تا کارگر وقت بیشتری را برای رسیدن به کیفیت بالای کالا صرف نماید .
انقلاب صنعتی باعث کاهش این انگیزه شد . چرا که دیگر کارگر بر خلاف گذشته , سازنده یک کالا نبود بلکه تنها جزء کوچکی از فرآیند ساخت آن را بر عهده داشت . در انقلاب صنعتی , روسای کارخانجات بزرگ نمی توانستند شخصا بر تمام وقایع نظارت داشته باشند . بنابراین ناچار بودند به طریق دیگری مشکلات را حل نمایند . این امر به منظور حفظ منافع اقتصادی و ایمنی مصرف کننده و نیز افزایش میزان تولید و به وجود آمادن رقابت مورد توجه جدی قرار گرفت و به این منظور به کارگیری روشهای بازرسی برای جلوگیری از عرضه محصولات نامرغوب یا معیوب به بازار به سرعت گسترش یافت . حتی بسیاری از واحد های تولیدی به منظور اطمینان خاطر مصرف کنندگان و گاه به عنوان ابزارهای تبلیغاتی اعلام می کردند که در تولید خود از روشهای بازرسی صد در صد بهره می برند . بنابراین اولین مرحله کنترل کیفیت پدیدار شد که هدف از آن فقط جداسازی محصولات معیوب از سالم بود و به منظور کاهش تعداد محصولات معیوب , ابداع روشهای علمی جدیدتر ضرورت یافت . در سال 1994 دکتر والتر شوهارت آمریکایی اولین نمودارهای آماری را به منظور کنترل فرآیند تولید ابداع و معرفی نمود . بنابراین وی را پایه گذاری کنترل کیفیت آماری می شناسند . ولی استفاده از علم آمار در صنعت از این زمان آغاز نشد . علت این امر اعتقاد نداشتن مدیران تولید به روشهای آماری و همچنین کمبود متخصص علم آمار در مراکز تولیدی بود .
در سال 1937 در طی جنگ جهانی دوم خرید میلیونها تن مواد غذایی ، مهمات و پوشاک و دارو و ... توسط ارتش آمریکا بدون آنکه روش علمی برای کنترل و بازرسی آن وجود داشته باشد سران ارتش آمریکا را وادار نمود که به سراغ کنترل کیفیت آماری بروند . این اقدام ارتش آمریکا از یک طرف منجر به پیروزی آن در جنگ جهانی دوم و از طرف دیگر سبب پایه گذاری علم کنترل کیفیت ( آماری ) در دنیا گردید .
در کنترل کیفیت آماری که امروزه به طور گسترده ای در صنایع پیشرفته دنیا به کار می رود . سعی بر این است که ضایعات تولید تا حد امکان کاهش یابد . چنانچه مدیری بخواهد کنترل کیفیت را اجرا کند باید آمار بگیرد . به عنوان مثال تعیین نماید که آیا ضایعات کارخانه یا کارگاه نسبت به دیروز افزایش یافته است یا کاهش ؟ آیا ضایعات این کامیون مواد خام نسبت به کامیون قبلی فرق دارد یا خیر ؟ سپس لازم است این آمارها را به صورت نمودار در آورده و بعد از تجزیه و تحلیل نمودار ها ریشه نقایص را بیابد . به این ترتیب می توان با استفاده از کنترل کیفیت آماری کنترل موثری بر تولید داشت .
در سال 1960 اولین حلقه های کنترل کیفیت برای بهبود روشهای کنترل کیفیت در ژاپن تشکیل شد . این حلقه ها عبارتست از تقسیم مجموعه عوامل موثر بر کیفیت به حلقه های مختلف و تقسیم حلقه های بزرگ به حلقه های کوچک ؛  هدف اصلی از تشکیل این حلقه ها آن بود که شرایط مناسب برای بهبود کیفیت محصول تولیدی فراهم شود .
کار حلقه های کنترل کیفیت از همان آغاز با موفقیت های چشمگیری رو به رو شد و به همین دلیل واحدهای تولیدی در بسیاری از کشورها این حلقه ها را در صنعت خود تشکیل دادند . در سالهای اخیر در اکثر واحدهای تولیدی ، سیستمهای مختلف کنترل کیفیت تضمین کننده سلامت ، بهداشت ، رفاه و ... افراد جامعه موجود است .

 

آخرین شماره از نشریه ی برازش

بوديم و كسي پاس نميداشت كه هستيم

 

باشد كه نباشيم و بدانند كه بوديم

 

سلام!

خيلي وقته كه به اين وبلاگ سر نزدم. چيزي حدود 8 ماه. يعني بعد از فارغ التحيلي از دانشگاه لرستان. حالا بعد اين همه مدت با ديدن اين آمار بازديد و نظرات خوانندگان كلي خوشحال شدم.

ممنون از همراهيتون. راستش با اينكه الآن توي تبريز دانشجو هستم ولي خيلي وقته از درس خوندن و پيشرفت به دورم. شايد بزرگترين علتش دانشگاه (البته بيشتر شبيه مهدكودك ميمونه) دانشوران تبريز باشه كه توش درس ميخونم. چون هر موقع سر كلاساش ميشينم احساس ميكنم نه تنها چيز جديدي ياد نميگرم بلكه چيزايي كه مي دونستم هم داره از مخم ميپره. از بس اينجا مزخرفه. خوب چي كار ميشه كرد. نميخوام به كسي توهين كنم ولي مرده شور مملكتي رو ببرن كه دانشگاهش اين باشه. راستش هيچ وقت فكر نميكردم كه دلم واسه دانشگاه لرستان تنگ بشه ولي بايد اعتراف كنم كه تنگ شده!

اما از همه ي اينا كه بگذريم من هنوز هم به آمار علاقه دارم و ميخوام هر چه بيشتر تو اين زمينه اطلاعات كسب كنم. خوشحال ميشم دوستاني كه با من هم عقيده هستن با معرفي سايت هاي آماري خودشون منو تو اين راه همراهي كنن.

 امروز يه آپ ويژه براي علاقه مندان به آمار دارم. آخرين نسخه از نشريه ي دانشجويي برازش كه خرداد امسال چاپش كرديم. توصيه ميكنم حتماً دانلود كنيد.

 

دانلود نشريه (حجم فايل : 5مگابايت)

تحلیل عاملی

تحلیل عاملی

تحليل عاملي اصطلاحي است كلي براي تعدادي از تكنيك هاي رياضي و آماري مختلف اما مرتبط با هم به منظور تحقيق درباره ماهيت روابط بين متغيرهاي يك مجموعه معين. مساله اساسي تعيين اين مطلب است كه آيا يك مجموعه متغير را مي توان برحسب تعدادي از «ابعاد» يا «عامل هاي» كوچكتري نسبت به تعداد متغيرها توصيف نمود و هر يك از ابعاد (عامل ها) معرف چه صفت يا ويژگي است.

نخستين كار درباره تحليل عاملي توسط چارلز اسپيرمن (1940) صورت گرفت، كه به گونه كلي «پدر» اين روش شناخته شده است. بعد از او كارل پيرسن (1901)، روش «محورهاي اصلي» را پيشنهاد كرد و هتلينگ (1933) آن را به گونه كاملتري توسعه داد.

بسياري از كارهاي نخستين در تحليل عاملي، يعني در طول سال هاي 1900 تا 1930، به كاربرد مدل اسپيرمن در بسياري از مسايل عملي و بررسي شرايط مناسب براي استفاده از آن مدل اختصاص يافته است. در طول اين دوره، علاوه بر خود اسپيرمن، دانشمندان ديگري مانند سيريل برت، كارل هليزينگر، ترومن كلي، كارل پيرسن و گادفري تامسون، كمك هاي شاياني به ادبيات تحليل عاملي كرده اند. در اوايل سال 1930، آشكار شد كه مدل تك عاملي عمومي اسپيرمن براي توصيف روابط بين متغيرهاي يك مجموعه هميشه كافي نيست.

ترستون احتمالا برجسته ترين تحليلگر عاملي نوين بوده و نفوذ قابل ملاحظه اي در توسعه اين روش از سال هاي 1930 تا كنون داشته است. مسئوليت توسعه روش «سانتروئيد» با اوست كه در مقياس گسترده اي قبل از ظهور كامپيوترهاي پر سرعت به كار رفته است. او همچنين مسئول مفهوم ساختار ساده است كه توسط بيشتر تحليلگران به عنوان معرف يك راه حل تحليل عاملي ايده آل در نظر گرفته شده است.

كارهاي اوليه در تحليل عاملي  كه توسط دانشمندان ياد شده انجام گرفته، بيشتر توجيه نظري دارد، هر چند هيچ يك از آنها آماده براي آزمون هاي آماري فرضيه هاي خاص درباره ساختارهاي عاملي مجموعه هاي معيني از متغيرها نبوده است. اما، وقتي كامپيوترهاي پر سرعت در اختيار قرار گرفت در اواسط تا اواخر سال هاي 1950، حركتي از تئوري گرائي به سوي آنچه تحليل عاملي اكتشافي ناميده مي شود، به وجود آمد. اين حركت به گونه آشكار از طريق تئوري عامل مشترك ترستون تشويق، و از طريق فرمول بندي عمومي هتلينگ (1993)، درباره عمليات رياضي مولفه هاي اصلي كه قبل از آن به دليل محاسبات فوق العاده پيچيده و پرزحمت آن، به كار نرفته بود تسهيل شد. چنين به نظر مي رسد كه در طول سال هاي 1950 و 1960، تقريبا هر كس، هر چيزي را تحليل عاملي مي كرده است، به اين اميد كه روابط پيچيده ظاهري بين متغيرهاي يك مجموعه را مي توان ساده كرد و به گونه ساده تري تفسير نمود (ليندمن و همكاران، 1980). در طول اين دوره همچنين تعداد روشهاي تحليل عاملي با ابداع تحليل تصوير (گاتمن، 1953)، تحليل عاملي بنيادي (رائو، 1955 و هريس، 1962)، تحليل عاملي آلفا (كيسر و كافري، 1965) و روش كمترين پس مانده (هامن و جونز، 1966)، به گونه قابل توجهي توسعه يافت. با اين وجود، روشهاي تحليل اكتشافي نتوانست آن گونه كه انتظار مي رفت، كمك موثري براي آزمون و پالايش تئوري روان شناختي باشد.

مقاله هتلينگ (1933) درباره تحليل مولفه هاي اصلي نخستين كمك قابل توجه يك آماردان را به تحليل عاملي معرفي كرد، و اين وضعيت تا موقعي ادامه داشت كه مقاله لاولي (1940) درباره روش بيشينه احتمال (ML) منتشر شد. لاولي نشان داد كه تحليل عاملي مي تواند به عنوان يك تكنيك آماري جالب در بسياري از موقعيت هاي پژوهشي كاربرد داشته باشد. واكنش هاي له و عليه اين روشها نيز تا وقتي كه آزمون فرضيه هاي خاص درباره پارامترهاي مدل تحليل عاملي مورد توجه قرار گرفت (مثلا جارزكاگ، 1984)، همچنان ادامه داشت. هر چند كارهاي جارزكاگ اساسا مبتني بر روش ML لاولي بود، اما بسياري از مسايل محاسباتي و تفسيري را كه لاولي با آن مرتبط نبود، روشهاي باك و بارگمن (1966) و جارزكاگ (1984) به سبب تاكيد بر آزمون فرضيه، به عنوان روشهاي تحليل عاملي تاييدي طبقه بندي مي شود. هر چند توليد فرضيه هايي كه بايد آزمون شود اغلب دشوار است، اما اين روشها به وضوح بر تحليل عامل اكتشافي به سبب توسعه و آزمون تئوري مزيت دارد.

البته براي تدوين چنين فرضيه هايي مي توان ابتدا تحليل عاملي اكتشافي را اجرا كرد و سپس اين فرضيه ها را از طريق تحليل عاملي تاييدي آزمود.

 

درك مفهومي تحليل عاملي و كاربرد آن

بنا بر آنچه گفته شد، تحليل عاملي تكنيكي است كه كاهش تعداد زيادي از متغيرهاي وابسته به هم را به صورت تعداد كوچكتري از ابعاد پنهان يا مكنون امكان پذير مي سازد. هدف عمده آن رعايت اصل اقتصاد و صرفه جويي از طريق كاربرد كوچكترين مفاهيم تبيين كننده به منظور تبيين بيشينه مقدار واريانس مشترك در ماتريس همبستگي است. مفروضه اساسي تحليل عاملي اين است كه عامل هاي زيربنايي متغيرها را مي توان براي تبيين پديده هاي پيچيده به كار برد و همبستگي هاي مشاهده شده بين متغيرها حاصل اشتراك آنها در اين عامل ها است. هدف تحليل عاملي تشخيص اين عامل هاي مشاهده ناپذير بر پايه مجموعه اي از متغيرهاي مشاهده پذير است. عامل، متغير جديدي است كه از طريق تركيب خطي نمره هاي اصلي متغيرهاي مشاهده شده بر پايه فرمول زير برآورد مي شود :

Fj=∑WjiXi=Wj1X1+Wj2X2+…+WjpXp

كه در آن W ها بيانگر ضرايب نمره عاملي و P معرف تعداد متغيرها است. اين عامل ها، في نفسه، سازه هاي فرضي يا نظري هستند كه به تفسير ثبات و هماهنگي در مجموعه داده ها كمك مي كنند. بنابراين ارزش تحليل عاملي اين است كه طرح سازماني مفيدي به دست مي دهد كه مي توان آن را براي تفسير انبوهي از رفتار با بيشترين صرفه جويي در سازه هاي تبيين كننده، به كار برد.

اميد اين است كه تعداد كمي از اين عامل ها (يعني تركيب هاي خطي نمره هاي اصلي متغيرهاي مشاهده شده) بتواند تقريبا همه اطلاعاتي را كه توسط مجموعه بزرگتري از متغيرها به دست مي آيد در برگرفته در نتيجه توصيف ويژگي هاي فرد را ساده سازد. از اين گذشته اميدوار هستيم كه با توسعه صحيح عامل ها، متغيرهايي به وجود آوريم كه دلالت بر يك سازه روشن و با معناي روان شناختي داشته باشد به گونه اي كه توصيف ما از شخص نه فقط ساده تر، بلكه روشن تر و قاطع تر باشد.

 

چرخش عامل ها

چرخاندن عامل ها، بارهاي عاملي و به همين ترتيب معناي آن ها را تغيير مي دهد، اما راه حل هاي مختلف تحليل عاملي از لحاظ رياضي در مقدار واريانسي كه در هر متغير و بنابراين در كل ماتريس تبيين مي كنند معادل هستند. بعلاوه، عامل هاي چرخش يافته، همبستگي هاي اوليه را دقيق تر از راه حل چرخش نيافته باز پديد مي آورد.

با وجود اين آشكار است كه عامل هاي چرخش يافته ممكن است هر وضعيتي را در فضاي عاملي اشغال كنند و از اين رو، عملا بي نهايت راه حل وجود دارد. از آنجا كه اين راه حل ها از لحاظ رياضي معادل هستند، هيچ دليل رياضي جهت رجحان يكي بر ديگري وجود ندارد و دقيقا به اين دليل است كه نبايد نتايج حاصل از اولين تلخيص را، با هر روشي كه باشد، به عنوان راه حل نهايي تلقي كرد. از اين رو، لازم است كه چگونگي انتخاب يك راه حل از ميان آرايه اي از چرخشهاي ممكن مورد بحث قرار گيرد.

چرخش هاي نموداري. در واقع هنگامي كه تحليل عاملي به تازگي باب شده بود، عامل ها به صورت نموداري چرخش داده مي شدند. اما زماني كه عوامل زيادي در دست است، انجام اين كار فرآيندي خسته كننده و طولاني است. به همين دليل، براي چرخش عامل ها روش هاي تحليل رياضي به وجود آمده و در اين روش ها، محاسبات به وسيله رايانه انجام مي گيرد.

چرخش هاي متعامد. در چرخش هاي متعامد عوامل طوري چرخانده مي شوند كه نسبت به هم هميشه يك زاويه قائمه داشته باشند. اين بدان معنا است كه عامل ها ناهمبسته هستند (cos 90=0). همانطور كه كتل (1978) استدلال كرده، در جستجوي عامل هايي كه براي فهم پديده هاي رواني، ابعاد اساسي هستند، بعيد است كه عامل ها ناهمبسته باشند. براي مثال در شخصيت كه تبيين كننده هاي محيطي- ژنتيكي بر آن موثرند، يافتن عامل هاي متعامد بسيار عجيب خواهد بود.

چرخش هاي متمايل. در چرخش هاي متمايل، محورهاي عاملي مي توانند هر وضعيتي را در فضاي عاملي داشته باشند و علت نامگذاري اين چرخش ها نيز همين مساله است. كسينوس زاويه بين محورهاي عاملي نشان دهنده همبستگي بين آن ها است. چرخش متمايل عامل ها، در مقايسه با چرخش متعامد كه محدوديت ناشي از متعامد بودن وجود دارد، آزادي بيشتري در انتخاب وضعيت عامل ها در فضاي عاملي وجود دارد.

 

منبع : وبلاگ پژوهش هاي آماري

 

نمونه گیری خوشه ای

نمونه گیری خوشه ای

نمونه گیری خوشه ای شامل تشکیل گروه ها یا خوشه هائی مناسب از واحدهای نمونه گیری و سپس انجام آمارگیری ازتمام یا بخشی از واحدهای خوشه انتخاب شده می باشد. هنگامی از این نوع نمونه گیری استفاده می شود که جامعه مورد پژوهش ازدسته های جداگانه ای تشکیل شود و عناصر آن جامعه در این دسته ها توزیع شده باشد. علاوه بر این اگر هزینه بدست آوردن چهارچوبی که نام همه عناصر جامعه را در بر داشته باشد سنگین یا هزینه گردآوری مشاهدات و داده های پژوهش زیاد باشد، می توان ازنمونه برداری خوشه ای ا ستفاده کرد که از نمونه برداری ساده یا طبقه ای به مراتب سهل الوصول تر و ارزانترخواهد بود. بنابراین منطق اساسی نمونه گیری خوشه ای درحقیقت، رعایت اصل اقتصاد و راحتی اجرای آن می باشد.

مزایای نمونه گیری خوشه ای از نظر هزینه آماری به مقدار زیادی وابسته به این حقیقت است که گردآوری اطلاعات از واحدهای نزدیک به هم آسانتر، سریع تر، ارزانتر و بالاخره راحت تر از جمع آوری اطلاعات از واحدهائی می باشد که در تمام حوزه آمارگیری یک بررسی قرارگرفته اند. برای مثال بسیار ساده تر است که تمام کشاورزان واقع در یک روستا را آمارگیری کنیم تا همین تعداد کشاورز نمونه را بصورت تصادفی از بین تمام کشاورزان یک دهستان انتخاب کنیم. به علت آسانی عملیات میدانی و کم شدن هزینه آمارگیری، نمونه گیری خوشه ای در بسیاری از آمارگیری ها بکار برده می شود و بطورکلی برای یک نمونه با حجم معین سودبخشی نمونه گیری خوشه ای در مقایسه با نمونه گیری پراکنده واحدهائیکه ازجامعه بصورت واحد به واحد انتخاب می شود کمتراست. علت آن واریانس نمونه گیری است. زیرا درانتخاب اخیر امکان برگزیدن واحد ها به طور جزئی ازتمام قسمت جامعه وجود دارد. بهترین نمونه ي خوشه ای نمونه ای است که واحد های خوشه در بین خود تا سرحد امکان با یکدیگر متفاوت باشند. (یعنی واریانس داخل خوشه حداکثر باشد). درعمل منظور از نمونه گیری خوشه ای آن است که ازواحدهای نزدیک به هم جامعه و یا واحدهائی که بتوان آنها را براحتی با یکدیگر نمونه گیری نمود، خوشه هائی تشکیل داد و ازبین خوشه های تشکیل شده نمونه ای انتخاب کرد.

نمونه گیری خوشه ای دو مرحله ای  :

موقعیکه خوشه ها بزرگند، شمارش آنها بطور کامل مشکل است. درعین حال نیازی نیست تا اطلاعات مربوط به هر عضو خوشه های نمونه جمع آوری شود. می توان بعداً نمونه ای ازهریک ازخوشه های منتخب انتخاب کرد. این روش، نمونه گیری از نمونه یا نمونه گیری دومرحله ای نامیده می شود. بنابراین یک نمونه گیری خوشه ای دومرحله ای ابتدا بوسیله انتخاب یک نمونه ی احتمالی از خوشه ها و سپس اخذ یک نمونه احتمالی از اعضای خوشه ی نمونه (یک نمونه ازهرخوشه ی منتخب) حاصل می شود. در هر مرحله، نمونه گیری از نوع تصادفی ساده خواهد بود مثلاً می توان چند آبادی را به عنوان نمونه به منظور یک بررسی کشاورزی انتخاب کرد. سپس نمونه ای از مزارع داخل این آبادی ها انتخاب کرد. آبادیها واحد های نمونه گیری اولیه هستند و مزارع واحدهای مرحله دوم هستند. مزیت اصلی این روش آن است که چارچوبی که بایستی فراهم آورد، تنها برای واحدهایی است که در نمونه قرار دارند و آمارگیری ارزانترتمام می شود، زیرا بررسی بایستی تنها درمورد واحدهای مرحله اول نمونه گیری به عمل آید. نظارت برآمارگیری نیز موقعی که نمونه گیری تنها به چند خوشه محدود شود نسبتاً آسان است.

نمونه گیری خوشه ای چند مرحله ای  :

اصول نمونه گیری خوشه ای چندمرحله ای را می توان در هر زمینه دیگری که چهارچوب نمونه گیری به سهولت به دست نمی آید بکاربرد. به عنوان مثال در پیمایش کشاورزان یک استان می توان با نمونه گیری از شهرستان های استان شروع کرد و سپس از دهستان های هر شهرستان منتخب نمونه گیری کرد. در داخل هر دهستان می توان فهرستی از آبادی ها تهیه و از آن فهرست نمونه گیری کرد. برای هریک از آبادی های انتخاب شده نیز می توان فهرستی از کشاورزان ساکن بدست آورده و نمونه ای از آنها برگزید.دراین تکنیک کشاورزان نمونه نهایی متضمن انتخاب چند نمونه مختلف است و به گونه ای انجام می شود که هزینه نهایی پیمایش به حداقل برسد. نتیجه ی این روش نمونه گیری تمرکز مصاحبه در چند نقطه جغرافیایی وکاهش هزینه رفت وآمداست. نکته ی اصلی در نمونه گیری چند مرحله ای تعداد خوشه هایی است که در هر مرحله باید نمونه گیری شوند. با توجه به حجم نمونه ی نهایی رابطه ی مستقیمی بین تعداد خوشه های منتخب و تعداد واحدهایی که متعاقباً ازهریک از آنها انتخاب می شود وجود دارد. اصل کلی، به حداکثر رساندن خوشه های اولیه منتخب و متعاقباً انتخاب تعداد نسبتاً معدودی افراد یا واحد ازهرخوشه منتخب است.  مسئله در اینجاست که با افزایش تعداد خوشه های اولیه منتخب، هزینه ی رفت وآمدهای بعدی نیز بالا می رود.

 

منبع : http://www.fargasht.com

سایت های آماری

سلام

تو این پست میخوام یه سری سایت مفید مرتبط با آمار را براتون قرار بدم. امیدوارم به دردتون بخوره!

جامعه ی آمار

اطلاعاتی درمورد جمعیت جهان

طلاعاتی مربوط به آمار

مفاهیم مهم

شرکت مشاور خدمات آماری

آنالیزهای آماری

آنالیز اطلاعات آماری

منبع اطلاعاتی برای آمارشناسان

اطلاعات آماری

حل مشکلات آمار

تحقیقات آماری

جلوه‌ی ویژه‌ای از علم آمار

کتابخانه آماری

طراحی‌های آماری

سایت جهانی آمار

راه‌حل‌های آماری

آنالیز اطلاعات

آزمایشگاه آمار دربخش ریاضیات دانشگاه کمبریج

مطالعات آمار‌ی

خدماتی در زمینه‌ی آمار

پژوهشکده آمار