ثلاث طرق لقياس المسافة

اختيار مقياس المسافة يغير ما يعنيه 'المتشابه'

بالنظر إلى نقطتين في الفضاء، هناك طرق عديدة لقياس 'المسافة' بينهما. كل مقياس يحدد هندسة مختلفة، و تلك الهندسة تحدد ما يعتبره نموذجك 'متشابهاً'.

مسافة إقليدس (L2) — المسافة على خط مستقيم. d = √(Σ(aᵢ - bᵢ)²). هذه مسافة 'كما يطير الغراب'، وهي المسافة التي تتوقعها حدسياً. تعامل جميع الأبعاد بالتساوي و حساسة للحجم.

مسافة مانهاتن (L1) — مسافة السير على شبكة الشارع. d = Σ|aᵢ - bᵢ|. مثل التنقل عبر أكوام المدينة — يمكنك فقط التحرك على طول المحاور، لا تقطع أبداً بشكل قطري. أكثر مقاومة للقيم الشاذة في الأبعاد الفردية لأنها لا تربع الفروقات.

مسافة الكوساين — تقيس الزاوية بين المتجهات، مما يتجاهل الحجم تماماً. d = 1 - cos(θ). وثيقتان عن نفس الموضوع لهما مسافة كوساين صغيرة بغض النظر عن الطول. وثيقتان بنفس الطول عن مواضيع مختلفة لهما مسافة كوساين كبيرة.

الاختيار ليس عشوائياً. إذا كان الحجم مهماً (جرعة الدواء، درجة حرارة المفاعل)، استخدم إقليدس. إذا كنت تهتم بالنسب بدلاً من الأرقام المطلقة (توزيعات تكرار الكلمات، ملفات تعريف تفضيلات المستخدم)، استخدم كوساين. إذا كانت الفروقات الفردية للميزات تتطلب اهتماماً أكثر من الحجم الكلي (التشخيص الخاطئ، حيث ارتفاع مستشعر واحد له معنى)، استخدم مانهاتن.

أقرب K جيران — هندسة نقية

KNN: أبسط خوارزمية هندسية

البحث عن أقرب K جيران هو الخوارزمية الهندسية الأكثر شفافية في التعلم الآلي. ليس لديه مرحلة تدريب — إنه بيانات التدريب.

لتصنيف نقطة جديدة: ابحث عن أقرب K نقطة في بيانات التدريب. دعهم يصوتون. تفوز الفئة الأكثر. هذه الخوارزمية برمتها.

حد القرار الذي ينتجه KNN هو رسم بياني فوروني — تقسيم الفضاء حيث تنتمي كل نقطة إلى منطقة أقرب مثال للتدريب الخاص بها. الحدود هي المنصفات العمودية بين نقاط التدريب المجاورة.

ها هي البصيرة الهندسية المهمة: اختيار مقياس المسافة يغير رسم بياني فوروني تماماً. مسافة إقليدس تنتج حدود منحنية ودائرية. مسافة مانهاتن تنتج حدود على شكل ماس. مسافة كوساين تنتج حدود زاويّة ومخروطية الشكل.

نفس بيانات التدريب. نفس K. مقياس مسافة مختلف. نموذج مختلف تماماً. الهندسة هي النموذج.

اختيار مقياس مسافة

مقاييس المسافة ليست قابلة للتبديل — الاختيار الصحيح يعتمد على معنى 'المتشابه' لبيانات.

الفائقة الطائرات — حدود مسطحة في أبعاد عالية

كل مصنف خطي يجد فائقة طائرة

يجد المصنف الخطي سطحاً مسطحاً يفصل بين فئتين. يعتمد بعد هذا السطح على الفضاء:

- في الفضاء ثنائي الأبعاد، الحد هو خط (أحادي البعد)

- في الفضاء ثلاثي الأبعاد، الحد هو مستوى (ثنائي الأبعاد)

- في فضاء 784-بعدي (صور MNIST الرقمية)، الحد هو فائقة طائرة 783-بعدية

النمط العام: في فضاء N-بعدي، حد القرار هو سطح مسطح (N-1)-بعدي يسمى فائقة طائرة.

الانحدار اللوجستي، ودعم الآلات الموجهة، والمستقبلات أحادية الطبقة كلها مكتشفات فائقة الطائرات. تختلف في كيف تجد أفضل فائقة طائرة:

- الانحدار اللوجستي يعظم احتمال التصنيف الصحيح

- آلات المتجهات الداعمة تعظم الهامش الهندسي — المسافة من الفائقة الطائرة إلى أقرب نقاط بيانات

- المستقبلات ببساطة تجد أي فائقة طائرة تفصل البيانات، بدون ضمان الثمار

متجه الوزن للمصنف الخطي هو متجه عادي فائقة الطائرة. حد الانحياز يحول الفائقة الطائرة بعيداً عن الأصل. هذه أجسام هندسية بتفسيرات هندسية.

ما وراء الحدود المسطحة

عندما لا تكون البيانات قابلة للفصل الخطي

لا يمكن حل العديد من مشاكل العالم الحقيقي بحد مسطح. ضع في الاعتبار تصنيف صور القطط مقابل الكلاب — لا توجد خطة واحدة في فضاء البكسل تفصلها بنظافة.

توجد استراتيجيتان هندسيتان:

الاستراتيجية 1: خدعة النواة — حول البيانات إلى فضاء أبعاد أعلى حيث يكون قابلاً للفصل خطياً. مثال كلاسيكي: النقاط داخل دائرة (الفئة أ) والنقاط خارجها (الفئة ب) في 2D. لا يوجد خط يفصلها. لكن أضف بعداً ثالثاً z = x² + y²، والنقاط الداخلية (صغيرة x² + y²) تجلس منخفضة بينما النقاط الخارجية (كبيرة x² + y²) تجلس مرتفعة. الآن يفصل مستوى مسطح بينها بشكل مثالي.

آلات المتجهات الداعمة بدوال النواة تفعل هذا بشكل ضمني — فهي تحسب الحاصل النقطي في الفضاء ذي الأبعاد الأعلى دون بناء المتجهات ذات الأبعاد الأعلى الفعلية أبداً. يسمى هذا 'خدعة النواة' و إنها رؤية هندسية بحتة.

الاستراتيجية 2: الشبكات العصبية — جمّع تحويلات خطية بدوال تفعيل غير خطية. كل طبقة تطبق تحول خطي (ضرب مصفوفة = دوران + تحجيم + قص) يتبعه 'انحناء' غير خطي (ReLU, sigmoid, tanh). التركيب العديد من العمليات الخطية ثم الانحناء يمكن أن يقترب من أي شكل حد متصل.

الشبكة العصبية العميقة هي سلسلة من التحولات الهندسية التي تشوه فضاء الإدخال حتى تصبح الفئات قابلة للفصل الخطي في الطبقة النهائية.

فصل البيانات الدائرية

هذه من أهم المشاكل الهندسية في التعلم الآلي.

سطح الخسارة

التدريب = المشي لأسفل على سطح

لكل نموذج تعلم آلي معاملات — أوزان و انحيازات. دالة الخسارة تقيس مدى خطأ تنبؤات النموذج. معاً، تحددان سطح خسارة: منظر حيث كل نقطة تقابل مجموعة معاملات محددة، و الارتفاع هو الخسارة.

لنموذج بـ 2 معامل، سطح الخسارة منظر ثلاثي الأبعاد يمكنك تصوره — تلال، وديان، و سهول. لنموذج بـ 175 مليار معامل (مثل GPT-3)، سطح الخسارة موجود في فضاء 175-مليار-بعدي. الرياضيات متطابقة.

الانحدار التدريجي هو الخوارزمية التي تتنقل عبر هذا السطح. التدرج هو جسم هندسي — متجه يشير في اتجاه الصعود الأكثر حدة. لتقليل الخسارة، تحرك في الاتجاه المعاكس: التدرج السالب. هذا حرفياً المشي لأسفل.

معدل التعلم يتحكم في حجم الخطوة. كبير جداً و ستتجاوز الوديان. صغير جداً و ستزحف. التدرج يخبرك الاتجاه؛ معدل التعلم يخبرك بمدى المشي.

نقاط السرج والحدود الدنيا و هندسة الأبعاد العالية

منظر الخسارة ليس وعاء بسيط

صورة ساذجة للتدريب تتخيل وعاء سلس بنقطة منخفضة واحدة. الواقع أعقد بكثير:

الحدود الدنيا المحلية — وديان ليست الأعمق. يمكن لانحدار التدرج أن يعلق هنا، راضياً بأن كل اتجاه يصعد، حتى لو كانت وادية أعمق موجودة في مكان آخر.

نقاط السرج — على شكل سرج الحصان. تنحني الخسارة لأسفل في بعض الأبعاد و لأعلى في البعض الآخر. في 2D هذا نادر. في أبعاد عالية، نقاط السرج شائعة بشكل كبير أكثر من الحدود الدنيا المحلية. نقطة حرجة في فضاء 1000-بعدي يتعين عليها الانحناء لأعلى في جميع الأبعاد الـ 1000 لتكون حداً أدنى محلياً. إذا انحنى حتى بعد واحد لأسفل، فهو نقطة سرج.

الهضاب المسطحة — مناطق حيث التدرج قريب من الصفر. يتعطل التدريب لأنه لا توجد منحدرات لمتابعة.

الحدود الدنيا الحادة مقابل المسطحة — الحد الأدنى الحاد هو وادية ضيقة. الحد الأدنى المسطح هو وادية عريضة. يشير البحث إلى أن الحدود الدنيا المسطحة تعمم بشكل أفضل على بيانات غير مرئية، لأن الاضطرابات الصغيرة للمعاملات (من الضوضاء في البيانات الجديدة) لا تغير الخسارة بشكل درامي.

SGD مع الزخم يساعد على الهروب من نقاط السرج و الحدود الدنيا الحادة. العشوائية من انحدار التدرج العشوائي تعمل مثل هز الكرة على السطح — إنها تقفز من الفخاخ الضيقة و تجد وديان أوسع و أكثر تسطيحاً.

SGD مقابل الانحدار التدريجي كامل الدفعة

هذا من أهم الرؤى العملية في تدريب التعلم الآلي.

الكلمات كمتجهات — العمليات الحسابية الدلالية

المعنى له اتجاه

يخطط Word2Vec و GloVe و تضمينات المحولات الحديثة الرموز المنفصلة (الكلمات، الرموز الفرعية) إلى فضاءات متجهة مستمرة. النتيجة هي عالم هندسي حيث المعنى له إحداثيات.

المثال الشهير: الملك - الرجل + المرأة ≈ الملكة

هذه عملية حسابية متجهة. المتجه من 'الرجل' إلى 'الملك' يمثل مفهوم 'الملكية المطبقة على ذكر'. المتجه من 'المرأة' إلى 'الملكة' يمثل 'الملكية المطبقة على أنثى'. هذه المتجهات متوازية تقريباً — نفس الاتجاه، نفس العلاقة، نقاط انطلاق مختلفة.

العلاقات الهندسية الأخرى التي تنشأ من التدريب على النص:

- باريس - فرنسا + إيطاليا ≈ روما (علاقة عاصمة)

- مشى - مشي + سباحة ≈ سبح (تحول الماضي)

- أكبر - كبير + صغير ≈ أصغر (شكل مقارن)

لم يبرمج أحد هذه العلاقات. اكتشف النموذج أن المعنى له بنية هندسية بقراءة مليارات الكلمات. الاتجاهات في فضاء التضمين تقابل علاقات دلالية. هذه واحدة من أعمق الاكتشافات الهندسية في التعلم الآلي.

فرضية التنوع

بيانات عالية الأبعاد تعيش على أسطح منخفضة الأبعاد

صورة وجه برمادي 64×64 لها 4096 قيمة بكسل — إنها نقطة في فضاء 4096-بعدي. لكن ليست كل نقطة في ذلك الفضاء وجهاً صحيحاً. تبدو معظم المتجهات العشوائية 4096-بعدية مثل الضوضاء الثابتة، وليس الوجوه.

فرضية التنوع تؤكد أن بيانات العالم الحقيقي عالية الأبعاد تقع فعلياً على أو بالقرب من أسطح منحنية منخفضة الأبعاد (تنوعات) مدمجة في الفضاء عالي الأبعاد. قد يكون تنوع الوجوه 50-بعدياً فقط — معامل بواسطة عوامل مثل زاوية الإضاءة وموضع الرأس والتعبير ولون البشرة والعمر.

هذا مطالبة هندسية بعواقب عملية:

- تقليل الأبعاد (PCA, t-SNE, UMAP) يعمل لأن البيانات منخفضة الأبعاد تقريباً. هذه الخوارزميات تجد التنوع و تسقط عليه.

- الترميز التلقائي يتعلم ضغط البيانات إلى فضاء كامن منخفض الأبعاد (التنوع) و إعادة البناء منها.

- النماذج التوليدية (VAEs، نماذج الانتشار) تتعلم التنوع و عينة نقاط جديدة عليها — توليد وجوه جديدة، موسيقى جديدة، نصوص جديدة تبدو حقيقية لأنها تقع على التنوع المتعلم.

عندما يفشل نموذجك في التعميم، تفسير هندسي واحد هو: تعلم التنوع الخاطئ. بيانات التدريب تتبع سطحاً لا يطابق توزيع البيانات الحقيقي.

القياسات المتجهة

البنية الهندسية لفضاءات التضمين هي واحدة من أكثر النتائج مفاجأة في التعلم الآلي الحديث.

منحنيات ROC — جودة التصنيف كمساحة

مقاييس التقييم تعيش في فضاءات هندسية

منحنى ROC (خاصية تشغيل المستقبل) يرسم معدل الايجابيات الحقيقية (المحور ص) مقابل معدل الايجابيات الكاذبة (المحور س) عندما تكتسح حد التصنيف من 0 إلى 1.

هذا فضاء هندسي به معالم ذات معنى:

- (0، 1) — الزاوية العلوية اليسرى — التصنيف المثالي. كل موجب مكتشف، تنبيهات خاطئة صفر.

- (0، 0) — الزاوية السفلية اليسرى — يصنف النموذج كل شيء على أنه سالب.

- (1، 1) — الزاوية العلوية اليمنى — يصنف النموذج كل شيء على أنه موجب.

- القطر من (0،0) إلى (1،1) — مصنف عشوائي. في كل حد، يحتوي على معدلات موجبة حقيقية و خاطئة متساوية.

AUC (المساحة تحت المنحنى) هو حرفياً قياس مساحة هندسي. AUC = 0.5 تعني أن النموذج عشوائي (المساحة تحت القطر). AUC = 1.0 تعني التصنيف المثالي (المربع الكامل). يحتوي منحنى ROC للنموذج الجيد على انحناء نحو الزاوية العلوية اليسرى، و يرفق مساحة أكثر.

AUC له تفسير احتمالي جميل: يساوي احتمالية أن يسجل النموذج مثالاً موجباً عشوائياً أعلى من مثال سالب عشوائي. لكن هندسياً، إنها مجرد مساحة — و تلك البساطة الهندسية هي ما يجعلها حدسية.

فضاء الدقة و الاستدعاء

مقايضة هندسية مختلفة

تعيش منحنيات الدقة والاستدعاء في فضاء هندسي مختلف عن منحنيات ROC، و تخبر قصة مختلفة.

الدقة = من كل شيء وسمه النموذج موجب، ما نسبة ما يكون موجباً فعلياً؟

الاستدعاء = من كل الموجبات الفعلية، ما نسبة ما وجده النموذج؟

عندما تخفض حد التصنيف (وسم المزيد من الأشياء موجب)، يزيد الاستدعاء (تمسك بمزيد من الموجبات الحقيقية) لكن الدقة عادة تنخفض (تمسك أيضاً بمزيد من الايجابيات الكاذبة). تتبع هذه المقايضة منحنى في فضاء الدقة والاستدعاء.

درجة F1 = 2 × (الدقة × الاستدعاء) / (الدقة + الاستدعاء) — المتوسط التوافقي. هندسياً، درجة F1 تساوي النقطة على منحنى الدقة والاستدعاء حيث الدقة تساوي الاستدعاء. إنها حيث يتقاطع المنحنى مع قطر مربع الدقة والاستدعاء.

متوسط الدقة (AP) = المساحة تحت منحنى الدقة والاستدعاء. مثل AUC-ROC، يختصر المنحنى الكامل إلى رقم واحد يمثل المساحة الهندسية.

منحنيات ROC و منحنيات الدقة والاستدعاء هي آراء هندسية مكملة لنفس النموذج. يمكن لمنحنيات ROC أن تكون متفائلة بشكل مضلل على مجموعات البيانات غير المتوازنة (99% فئة سالبة). تبقى منحنيات الدقة والاستدعاء مفيدة لأنها تركز على الفئة الموجبة.

تفسير AUC-ROC

فهم ما يقيسه AUC-ROC هندسياً يساعدك على الاختيار بين النماذج.

المحولات — الحواصل النقطية كانتباه

الانتباه هو مقياس تشابه هندسي

معمارية المحول — أساس نماذج اللغة الحديثة — مبنية على عملية هندسية: الحاصل النقطي.

لكل رمز في تسلسل، يحسب المحول ثلاثة متجهات: استعلام (Q)، مفتاح (K)، و قيمة (V)، كل منها يتم الحصول عليه بضرب تضمين الإدخال بمصفوفات أوزان متعلمة.

درجة الانتباه بين رمزين هي: درجة = Q · K^T / √d

هذا هو حاصل نقطي مشروط — مقياس تشابه هندسي. عندما Q و K يشيران في نفس الاتجاه (زاوية صغيرة بينهما)، الحاصل النقطي كبير: هذا المفتاح وثيق الصلة بهذا الاستعلام. عندما تكون متعامدة، الحاصل النقطي صفر: غير ذي صلة.

يتم تمرير الدرجات عبر softmax لإنشاء توزيع احتمالي: أوزان انتباه تصل إلى 1. الناتج هو الجمع المرجح لمتجهات القيمة، حيث الأوزان تحددها المحاذاة الهندسية.

في جملة مثل 'القط جلس على الحصيرة لأنه كان متعباً'، الانتباه يحسب: للكلمة 'هو'، أي الكلمات الأخرى لها أكثر محاذاة هندسية؟ إذا كان متجه Q للكلمة 'هو' محاذٍ أكثر مع متجه K للكلمة 'القط'، النموذج ينتبه لـ 'القط' — حل الإحالة الضميرية من خلال الهندسة.

الانتباه متعدد الرؤوس — منظورات هندسية متعددة

لماذا رؤوس متعددة؟

الانتباه الذاتي بمجموعة واحدة من مصفوفات Q، K، V يحسب نوعاً واحداً من المحاذاة الهندسية. لكن للغة علاقات عديدة — بناء جملة، دلالية، موضعية، إحالة.

الانتباه متعدد الرؤوس يستخدم مجموعات متعددة من مصفوفات Q، K، V، كل منها تسقط إلى فضاء جزئي مختلف من التضمين. كل رأس يقيس المحاذاة في فضاء جزئي الخاص به.

ما يلاحظه الباحثون عند فحص رؤوس الانتباه:

- الرأس 1 قد ينتبه للكلمة السابقة (القرب الموضعي)

- الرأس 2 قد ينتبه للفعل من الموضوع (التبعية بناء الجملة)

- الرأس 3 قد ينتبه للكلمات ذات الصلة الدلالية في وقت سابق من السياق

- الرأس 4 قد ينتبه للاسم الأحدث (الإحالة المرجعية)

كل رأس هو عدسة هندسية مختلفة على نفس البيانات. الإسقاطات تدور و تعيد حجم فضاء التضمين بشكل مختلف، مما يجعل العلاقات المختلفة مرئية من خلال المحاذاة.

هذا هو السبب في أن المحولات تتفوق على النماذج برأس انتباه واحد. يلتقط حاصل نقطي واحد في فضاء التضمين الكامل فكرة واحدة من التشابه. حواصل نقطية متعددة في فضاءات جزئية مختلفة تلتقط مفاهيم متعددة ومكملة في وقت واحد.

الانتباه متعدد الرؤوس

الانتباه متعدد الرؤوس هو واحد من الابتكارات المعمارية الرئيسية للمحول.

التعلم الآلي هو هندسة تطبيقية

الخيط الموحد

انظر إلى ما غطيناه. لكل مفهوم رئيسي في التعلم الآلي نواة هندسية:

البيانات = نقاط في فضاء عالي الأبعاد

الميزات = أبعاد ذلك الفضاء

التشابه = مسافة أو زاوية بين النقاط

التصنيف = إيجاد حدود هندسية بين الفئات

التدريب = التنقل عبر سطح خسارة بمتابعة التدرجات

التضمينات = أنظمة إحداثيات متعلمة حيث الهندسة تشفر المعنى

التقييم = المناطق تحت المنحنيات في فضاءات المقاييس

الانتباه = الحواصل النقطية التي تقيس المحاذاة الزاوية

هذا ليس صدفة. وراث التعلم الآلي إطار عمله الرياضي من الجبر الخطي و الهندسة التفاضلية — حقول متعلقة بشكل أساسي بالفضاء و الشكل و التحول.

فهم الهندسة يعطيك شيء لا يمكن لحفظ الخوارزميات أن يعطيه: الحدس. عندما يفشل نموذجك، الرؤية الهندسية تقترح أين تنظر. هل الفئات غير قابلة للفصل؟ انظر إلى الحد. هل التدريب عالق؟ افحص سطح الخسارة. هل التضمينات ضعيفة؟ تحقق من أن العناصر المتشابهة قريبة هندسياً. هل الانتباه منتشر؟ افحص الإسقاطات الفضاء الجزئي.

الهندسة متطابقة سواء كنت تعمل مع 3 أبعاد أو 3 مليار. الرياضيات تتسع. الحدس ينتقل. هذا ما يجعل الهندسة اللغة العالمية للتعلم الآلي.

التصحيح الهندسي

غطينا المتجهات و المسافات و الحدود و التدريب و التضمينات و التقييم و الانتباه — كل هذا من خلال عدسة الهندسة.