IQ को सामान्य वितरण कैसे मिलता है
हेमिंग अध्याय 29 को IQ परीक्षण की सावधानीपूर्वक विच्छेदन के साथ खोलते हैं।
दावा: बुद्धिमत्ता जनसंख्या में सामान्य वितरण का पालन करती है। माप: संचयी संभाव्यता पैमाने पर स्कोर प्लॉट करें (संभाव्यता कागज)। स्कोर एक सीधी रेखा पर गिरते हैं — सामान्य वितरण को दर्शाते हुए।
समस्या जो हेमिंग पहचानते हैं: यह एक खोज नहीं है। यह एक निर्माण है। IQ परीक्षण कैलिब्रेट किया जाता है कच्चे स्कोर लेकर और एक मोनोटोन रूपांतरण लागू करके जो संचयी वितरण को सामान्य संभाव्यता पैमाने पर बाध्य करता है। फिर परिणामी स्कोर को बुद्धिमत्ता को मापने के लिए घोषित किया जाता है, जिसे कैलिब्रेट की गई परीक्षा द्वारा मापा जाता है उसके रूप में परिभाषित किया जाता है।
परिणाम: बुद्धिमत्ता, जिसे इस परीक्षा द्वारा मापा जाता है, सामान्य रूप से वितरित होती है। निश्चित रूप से है — इसे ऐसे ही डिज़ाइन किया गया था। सामान्य वितरण दुनिया में बुद्धिमत्ता की संपत्ति नहीं है; यह कैलिब्रेशन प्रक्रिया की संपत्ति है।
हेमिंग का सामान्यीकरण: आप जो मापते हैं वह आपको मिलता है। उपकरण, कैलिब्रेशन प्रक्रिया, और परिभाषा स्वतंत्र नहीं हैं। वे एक बंद लूप बनाते हैं। उपकरण जो मापता है वह वास्तविक की परिभाषा बन जाता है।
उनके कलन परीक्षा का उदाहरण: वह प्रश्नों की कठिनाई वितरण चुनकर लगभग किसी भी ग्रेड वितरण का उत्पादन कर सकते हैं जो वह चाहते हैं। एक समान रूप से कठिन परीक्षा एक द्विमोडल वितरण (छात्र या तो इसे जानते हैं या नहीं) का उत्पादन करती है। एक मिश्रित परीक्षा घंटी वक्र का उत्पादन करती है। वितरण परीक्षा डिजाइन की एक कृति है, छात्रों के बारे में एक खोज नहीं।
गोलाकार लूप खोजना
हेमिंग का विश्लेषण एक तीन-चरणीय गोलाकार परिभाषा को प्रकट करता है:
1. एक उपकरण और कैलिब्रेशन प्रक्रिया डिज़ाइन करें।
2. निर्माण को 'इस उपकरण द्वारा जो मापा जाता है' के रूप में परिभाषित करें।
3. रिपोर्ट करें कि निर्माण के पास कैलिब्रेशन में डिज़ाइन किया गया वितरणात्मक संपत्ति है।
जब एक माप एक लक्ष्य बन जाता है
हेमिंग का सूत्र, गुडहार्ट ने इसका नाम देने से पहले: जब आप एक माप को लक्ष्य के रूप में उपयोग करते हैं, तो यह एक वैध माप होना बंद कर देता है। लक्ष्य निर्धारण की कार्रवाई मेट्रिक को दूषित करती है।
तंत्र: लक्ष्य निर्धारण से पहले, मेट्रिक अंतर्निहित मूल्य के साथ संबंध रखता है। लक्ष्य निर्धारण के बाद, तर्कसंगत अभिनेता सीधे मेट्रिक को अनुकूलित करते हैं। संबंध टूट जाता है क्योंकि मेट्रिक को सुधारने का सबसे आसान तरीका अक्सर इसे अंतर्निहित मूल्य से अलग करना है।
हेमिंग के मामले:
- वियतनाम में शरीर की संख्या: सैन्य प्रगति के माप के रूप में उपयोग किया जाता है। सैनिकों ने अपरिवर्तनीय वस्तुओं की गिनती करके शरीर की संख्या को अनुकूलित किया। मेट्रिक बढ़ा; सैन्य प्रगति नहीं।
- GNP वृद्धि: आर्थिक कल्याण के माप के रूप में उपयोग की जाती है। GNP वृद्धि नकारात्मक मूल्य (प्रदूषण सफाई, सैन्य निर्माण, जेल निर्माण) के साथ चीजें पैदा करके प्राप्त की जा सकती है। मेट्रिक कल्याण से अलग हो गया।
- परीक्षा के स्कोर: शिक्षा के माप के रूप में उपयोग किए जाते हैं। स्कूल परीक्षा के लिए पढ़ाते हैं। स्कोर बढ़ता है; अंतर्निहित विषय की समझ नहीं हो सकती।
हेमिंग का समाधान: (1) मेट्रिक को नियमित रूप से बदलें, इससे पहले कि लोग इसे पूरी तरह से अनुकूलित करें; (2) एक साथ कई मेट्रिक्स का उपयोग करें — इन सभी को एक साथ अनुकूलित करना कठिन है; (3) कभी भी किसी महत्वपूर्ण निर्णय के लिए एक ही मेट्रिक पर भरोसा न करें।
भ्रष्टाचार तंत्र की पहचान करें
एक सॉफ्टवेयर संगठन डेवलपर उत्पादकता को प्रति सप्ताह लिखी गई कोड की पंक्तियों (LOC) की गिनती करके मापता है। शुरुआत में, LOC उत्पादकता के साथ संबंध रखता है — सक्रिय डेवलपर्स निष्क्रिय लोगों की तुलना में अधिक कोड लिखते हैं।
गतिशील रेंज समस्या
हेमिंग एक सूक्ष्म माप समस्या उठाते हैं: रेटिंग स्केल में गतिशील रेंज होता है, और अधिकांश लोग इसका उपयोग नहीं करते।
उदाहरण: 1-10 पैमाना जहां 5 औसत है। अधिकांश रेटर्स 4, 5, और 6 का उपयोग करते हैं, कभी 1 या 9 तक नहीं पहुंचते। उनकी रेटिंग की गतिशील रेंज प्रभावी रूप से 3 है (4 से 6 तक), भले ही पैमाना 10 प्रदान करता है।
परिणाम: एक रेटर जो पूरी रेंज का उपयोग करता है, उसके पास एक औसत रेटिंग पर एक रेटर की तुलना में 3 गुना अधिक प्रभाव होता है जो मध्य में संपीड़ित होता है। यदि आप जो पसंद नहीं करते उसे 2 (पूरी रेंज) रेट करते हैं जबकि अन्य रेटर जो पसंद करते हैं उसे 6 (संपीड़ित रेंज) देते हैं, तो औसत 4 है — आपकी नापसंदगी उनकी पसंद को संतुलित करती है भले ही दोनों के पास समान आवाज हो रेटिंग सिस्टम के डिजाइन में।
हेमिंग का सूचना सिद्धांत कनेक्शन: एक वितरण की एन्ट्रॉपी (औसत आश्चर्य) तब अधिकतम होती है जब वितरण समान होता है। एक रेटिंग पैमाना जहां सभी ग्रेड समान रूप से उपयोग किए जाते हैं, अधिकतम जानकारी संप्रेषित करता है। एक पैमाना जहां अधिकांश रेटिंग 5 पर क्लस्टर होती हैं, बहुत कम जानकारी संप्रेषित करता है — रेटिंग लगभग कोई जानकारी नहीं रखती।
उनकी व्यावहारिक सलाह: आपको दिए गए किसी भी पैमाने की पूरी गतिशील रेंज का उपयोग करें। यदि आपको 1 से 10 का पैमाना दिया जाता है, तो इसे 1 से 6 तक न मानें। ऐसा करने से आपका प्रभाव कम हो जाता है और आपकी रेटिंग की सूचना सामग्री कम हो जाती है।
सूचना और गतिशील रेंज
दो प्रोफेसर 0-100 पैमाने पर ग्रेड देते हैं। प्रोफेसर A केवल 70-90 की रेंज का उपयोग करता है (20 पॉइंट पर संपीड़ित)। प्रोफेसर B पूरी रेंज 0-100 का उपयोग करता है (100 पॉइंट का उपयोग करता है)। मान लें कि प्रत्येक प्रोफेसर का ग्रेड वितरण उनकी उपयोग की गई रेंज के भीतर समान है।