ნაგავი შედის, ნაგავი გამოდის

რატომ არის გასუფთავება მნიშვნელოვანი

მონაცემთა მეცნიერები თავიანთი დროის 60-80%-ს ხარჯავენ მონაცემების გასუფთავებაში. ეს გადაჭარბება არ არის — ეს ინდუსტრიული კვლევების თანმიმდევრული დასკვნაა.

მიზეზი მარტივია: ნაგავი შედის, ნაგავი გამოდის. თუ თქვენს მონაცემებს აქვს შეცდომები, დაკარგული მნიშვნელობები ან შეუსაბამო ფორმატები, მათ საფუძველზე აგებული ყოველი ანალიზი მცდარი იქნება. სრულყოფილი მოდელი, რომელიც გაწვრთნილია ჭუჭყიან მონაცემებზე, ნდობით მცდარ პასუხებს გასცემს.

მონაცემთა გავრცელებული პრობლემები

- დაკარგული მნიშვნელობები — უჯრები ცარიელია. მონაცემები არ შეგროვდა, თუ მნიშვნელობა ნამდვილად ნულია? ეს სხვადასხვა სიტუაციაა, რომელიც სხვადასხვა მიდგომას საჭიროებს.

- არასწორი მონაცემთა ტიპები — რიცხვების სვეტი, რომელიც ტექსტად არის შენახული, თარიღები შეუსაბამო ფორმატებში (01/02/2024 — ეს 2 იანვარია თუ 1 თებერვალი?)

- გამონაკლისები — ხელფასის სვეტში ერთი ჩანაწერია 1 000 000 000 ₾. ეს რეალურია, თუ შეცდომა? ნებისმიერ შემთხვევაში, ეს თქვენს საშუალოებს გადახრის.

- დუბლიკატები — ერთი და იგივე ჩანაწერი ორჯერ გამოჩნდება, რადგან ორი სისტემა არასრულყოფილად გაერთიანდა

- კატეგორიული კოდირება — სვეტში წერია 'კი', 'კი', 'დ', 'TRUE' და '1'. ყველა ერთსა და იმავეს ნიშნავს, მაგრამ თქვენი კომპიუტერი ამას არ იცის.

pandas-ში (Python-ის სტანდარტული მონაცემთა ბიბლიოთეკა) ამ პრობლემებს dropna(), fillna(), astype() და drop_duplicates() მეთოდებით ამუშავებთ. მაგრამ რთული ნაწილი კოდი არ არის — ეს არის გადაწყვეტილება, რა გაიკეთოთ თითოეულ პრობლემასთან.

გასუფთავების გადაწყვეტილებები

გადაწყვეტილების მიღება

აი, რეალური სცენარი. გაქვთ 10 000 კლიენტის ჩანაწერების მონაცემთა ნაკრები. 'ასაკი' სვეტს აქვს 500 დაკარგული მნიშვნელობა.

თქვენი ვარიანტები:

- სტრიქონების წაშლა — 500 ჩანაწერის წაშლა. მარტივია, მაგრამ მონაცემების 5%-ს კარგავთ. თუ ამ 500 კლიენტს საერთო ნიშანი ახასიათებს (შესაძლოა, მათ ასაკის ველი გამოტოვეს კონფიდენციალობის გამო), მათი წაშლა მიკერძოებულობას შემოაქვს.

- საშუალოთი შევსება — ცარიელების საშუალო ასაკით ჩანაცვლება. სწრაფია, მაგრამ ხელოვნურად ამცირებს ასაკის სვეტის ვარიაციას.

- მედიანით შევსება — საშუალოზე უკეთესია, თუ ასაკის განაწილება ასიმეტრიულია (რამდენიმე ძალიან ხნიერი ან ძალიან ახალგაზრდა კლიენტი, რომელიც საშუალოს ცვლის).

- დროშის გამოყენება — შექმენით ახალი სვეტი სახელად 'age_missing' (1 ან 0) და შეავსეთ ორიგინალი მედიანით. ახლა თქვენი მოდელი შეძლებს ისწავლოს, არის თუ არა თავად არარსებობა ინფორმატიული.

უნივერსალური სწორი პასუხი არ არსებობს. არჩევანი დამოკიდებულია იმაზე, რატომ აკლია მონაცემები და რა განზრახვა გაქვთ.

სწორი კითხვების დასმა

კვლევითი მონაცემთა ანალიზი (EDA)

ნებისმიერი მოდელის აგებამდე საჭიროა მონაცემების გაგება. EDA არის მონაცემთა ნაკრების შეჯამების, ვიზუალიზაციისა და შეკითხვის პროცესი შაბლონების, ანომალიების და კავშირების საპოვნელად.

ძირითადი ინსტრუმენტები

- ჰისტოგრამები — გვიჩვენებს ერთი ცვლადის განაწილებას. არის ის ზარის ფორმის? ასიმეტრიული? ბიმოდალური (ორი პიკი)? შემოსავლის ჰისტოგრამა ყოველთვის მარჯვნივ ასიმეტრიულია, რადგან რამდენიმე ადამიანი უმრავლესობაზე გაცილებით მეტს შოულობს.

- გაფანტული დიაგრამები — გვიჩვენებს ორ ცვლადს შორის კავშირს. ამაღლებული ადამიანები უფრო მეტს იწონიან? უფრო მეტი სასწავლო დრო კორელირებს უფრო მაღალ შეფასებებთან? შაბლონი (ან შაბლონის არარსებობა) გეუბნებათ, კავშირი არსებობს თუ არა.

- კორელაცია — რიცხვი -1-სა და +1-ს შორის, რომელიც ხაზოვან ასოციაციას ზომავს. +1 ნიშნავს სრულყოფილ დადებით კავშირს, -1 ნიშნავს სრულყოფილ უარყოფითს, 0 ნიშნავს ხაზოვანი კავშირის არარსებობას. მაგრამ კორელაცია არ ნიშნავს მიზეზ-შედეგობრიობას — ნაყინის გაყიდვები და익ხრჩობისგან სიკვდილი კორელირებს, რადგან ორივე ზაფხულში იზრდება.

- შეჯამების სტატისტიკა — საშუალო, მედიანა, სტანდარტული გადახრა, მინიმუმი, მაქსიმუმი. pandas-ში: df.describe() ყველა ამას ერთ სტრიქონში გაძლევთ.

რეალური უნარი

ინსტრუმენტების სწავლა ადვილია. რთული ნაწილი სწორი კითხვების დასმაა. ცუდი კითხვა: 'რას ამბობს მონაცემები?' კარგი კითხვა: 'კლიენტებს, რომლებიც პირველ კვირაში მხარდაჭერას უკავშირდებიან, უფრო მაღალი შენარჩუნების მაჩვენებელი აქვთ?'

კორელაციის ხაფანგი

კორელაცია vs. მიზეზ-შედეგობრიობა

ეს მონაცემთა წიგნიერების ერთი ყველაზე მნიშვნელოვანი კონცეფციაა. ორი ცვლადი შეიძლება მჭიდროდ კორელირებდეს, ერთი მეორეს მიზეზი რომ არ იყოს.

კლასიკური მაგალითები:

- ქალაქებს, სადაც მეტი მეხანძრეა, მეტი ხანძარი აქვს. (უფრო დიდ ქალაქებს ორივე აქვს.)

- სადილს ჭამული სტუდენტები უკეთეს შეფასებებს იღებენ. (შესაძლოა, უფრო მდიდარი ოჯახები უფრო მეტად ზრუნავენ საუზმეზეც და სასწავლო მხარდაჭერაზეც.)

- ქვეყნები, სადაც მეტ შოკოლადს მოიხმარენ, მეტ ნობელის პრემიას იღებენ. (ორივე ეროვნულ სიმდიდრეს კორელირებს.)

ფარული ფაქტორი ეწოდება კომფლიქტური ცვლადი — მესამე ცვლადი, რომელიც თქვენ მიერ განხილულ ორივე ცვლადს განაპირობებს.

სასარგებლო ცვლადების შექმნა

რა არის მახასიათებლების ინჟინერია?

მახასიათებელი არის შეყვანის ცვლადი, რომელსაც მოდელი პროგნოზების გასაკეთებლად იყენებს. მახასიათებლების ინჟინერია არის ხელოვნება ნედლი მონაცემებიდან ახალი მახასიათებლების შექმნისა, რათა მოდელებს დაეხმარო შაბლონების სწავლაში, რომლებიც სხვაგვარად ვერ დაინახავდნენ.

ნედლი მონაცემები იშვიათად მოდის იმ ფორმით, რომელიც მოდელებს სჭირდებათ. განვიხილოთ მონაცემთა ნაკრები 'დაბადების თარიღის' სვეტით. მოდელს ნედლ თარიღებთან ბევრი რამ არ შეუძლია. მაგრამ თუ მისგან 'ასაკის' მახასიათებელს შექმნით, მოდელს შეუძლია ასაკზე დაფუძნებული შაბლონების სწავლა.

გავრცელებული ტექნიკები

- ნორმალიზაცია — რიცხვების საერთო მასშტაბამდე მიყვანა (0-დან 1-მდე, ან საშუალო=0 და სტანდარტული გადახრა=1). ამის გარეშე, ათასობით გამოსახული მახასიათებელი (ხელფასი) დომინირებს ერთნიშნა გამოსახულ მახასიათებელზე (სამუშაო გამოცდილების წლები).

- One-hot კოდირება — კატეგორიული ცვლადების ბინარულ სვეტებად გარდაქმნა. 'ფერის' სვეტი [წითელი, ლურჯი, მწვანე] მნიშვნელობებით გახდება სამი სვეტი: 'color_red', 'color_blue', 'color_green', თითოეული 0 ან 1-ით.

- ბინინგი — უწყვეტი ცვლადის კატეგორიებად გარდაქმნა. ასაკი 0-17 ხდება 'არასრულწლოვანი', 18-64 ხდება 'ზრდასრული', 65+ ხდება 'ხნიერი'. ეს ეხმარება, როდესაც კავშირი ხაზოვანი არ არის.

- ინტერაქციური მახასიათებლები — ორი მახასიათებლის ერთმანეთში გამრავლება. 'კვადრატული მეტრი სააბაზანო ოთახების რაოდენობის ჯერ' შეიძლება სახლის ფასს ცალ-ცალკე ვიდრე უკეთ იწინასწარმეტყველებდეს.

- სფეროს ცოდნა — ყველაზე ძლიერი ტექნიკა. ექიმი, რომელიც სამედიცინო მოდელისთვის მახასიათებლებს ქმნის, იცის რომელი ლაბორატორიული მნიშვნელობები მნიშვნელოვანია. მარკეტოლოგი იცის, რომ 'ბოლო შესყიდვიდან გასული დღეები' 'შესყიდვის თარიღზე' უფრო სასარგებლოა. ვერც ერთი ალგორითმი ვერ ჩაანაცვლებს ამ ცოდნას.

მახასიათებლების პრაქტიკა

მახასიათებლების ინჟინერიის გამოყენება

წარმოიდგინეთ, რომ აშენებთ მოდელს, რომელიც იწინასწარმეტყველებს, რომელი კლიენტები გააუქმებენ სტრიმინგ-გამოწერას მომავალ თვეში. თქვენი ნედლი მონაცემები მოიცავს:

- ანგარიშის შექმნის თარიღი

- ბოლო შესვლის თარიღი

- გასულ თვეში ნანახი გადაცემების რაოდენობა

- ყოველთვიური გადასახადის ოდენობა

- შექმნილი მხარდაჭერის ბილეთები

- ქვეყანა

სასწავლო/სატესტო გაყოფა

რატომ ყოფთ მონაცემებს

მოდელირების ყველაზე მნიშვნელოვანი წესი: არასოდეს შეაფასოთ მოდელი იმავე მონაცემებზე, რომლებზეც გაწვრთნეთ.

თუ ასე გააკეთებთ, მოდელს შეუძლია პასუხების დამახსოვრება. ის სასწავლო მონაცემებზე სრულყოფილად დაიანგარიშებს, მაგრამ ახალ, დაუნახულ მონაცემებზე ჩაიფლობს. ამას ეწოდება გადაწვრთნა — მოდელმა ისწავლა თქვენი კონკრეტული მონაცემთა ნაკრების ხმაური და არა რეალური შაბლონები.

სტანდარტული პრაქტიკაა მონაცემების გაყოფა:

- სასწავლო ნაკრები (ჩვეულებრივ 70-80%) — მოდელი ამ მონაცემებიდან სწავლობს

- სატესტო ნაკრები (ჩვეულებრივ 20-30%) — გადადება, გამოიყენება მხოლოდ საბოლოო მოდელის შეფასებისთვის

scikit-learn-ში: X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2)

გავრცელებული ალგორითმები

- ხაზოვანი რეგრესია — ხაზს ატარებს მონაცემებში ყველაზე მისადაგებულად. მარტივი, ინტერპრეტირებადი, მუშაობს, როდესაც კავშირი დაახლოებით ხაზოვანია. პროგნოზირებს რიცხვს (ფასი, ტემპერატურა, ქულა).

- გადაწყვეტილების ხეები — 'კი/არა' კითხვების სქემა. ადვილია გასაგები და ასახსნელი. მიდრეკილია გადაწვრთნისკენ, თუ არ იქნება შეკვეცილი ან სიღრმეში შეზღუდული.

- შემთხვევითი ტყე — ბევრი გადაწყვეტილების ხე, რომლებიც ერთად ხმას აძლევენ. ერთ ხეზე უფრო ზუსტი, გადაწვრთნისკენ ნაკლებად მიდრეკილი, მაგრამ ასახსნელად უფრო რთული.

გადაწვრთნა vs. ნაკლებად სწავლა

- გადაწვრთნა — მოდელი ძალიან რთულია. ის ამახსოვრებს სასწავლო მონაცემებს, ხმაურის ჩათვლით. სასწავლო მონაცემებზე მაღალი სიზუსტე, სატესტო მონაცემებზე დაბალი სიზუსტე.

- ნაკლებად სწავლა — მოდელი ძალიან მარტივია. ვერ ასახავს რეალურ შაბლონებს. სასწავლო და სატესტო მონაცემებზე დაბალი სიზუსტე.

მიზანია ოქროს შუამდგომელობა ამ ორს შორის.

შეფასების მეტრიკები

საიდან ვიცით, კარგია თუ არა მოდელი?

სიზუსტე მარტო შეცდომაში შეიყვანს. თუ ელფოსტის 95% სპამი არ არის, მოდელი, რომელიც ყოველთვის ამბობს 'სპამი არ არის', 95%-ით სწორია — მაგრამ სრულიად უსარგებლო.

ძირითადი მეტრიკები:

- სიზუსტე — სწორი პროგნოზების პროცენტი. სასარგებლოა, როდესაც კლასები დაბალანსებულია.

- სიზუსტე (Precision) — ყველა იმ ელემენტიდან, რომლებიც მოდელმა დადებითად მონიშნა, რამდენი ნამდვილად იყო? მაღალი სიზუსტე ნიშნავს ყალბი გაფრთხილებების სიმცირეს.

- მოხსენება (Recall) — ყველა რეალური დადებითიდან, რამდენი დაიჭირა მოდელმა? მაღალი მოხსენება ნიშნავს გამოტოვებული შემთხვევების სიმცირეს.

- F1 ქულა — სიზუსტისა და მოხსენების ჰარმონიული საშუალო. სასარგებლოა, როდესაც ორივეს დაბალანსება გჭირდებათ.

- RMSE (ფესვის საშუალო კვადრატული შეცდომა) — რეგრესიისთვის (რიცხვების პროგნოზირება). საშუალოდ რამდენად შორეა პროგნოზები?

რომელი მეტრიკა ყველაზე მნიშვნელოვანია, დამოკიდებულია პრობლემაზე. კიბოს დიაგნოსტიკისთვის, მოხსენება უფრო მნიშვნელოვანია — შემთხვევის გამოტოვება არ გინდათ. სპამის ფილტრაციისთვის, სიზუსტე უფრო მნიშვნელოვანია — რეალური ელფოსტის წაშლა არ გინდათ.

მონაცემთა ანალიტიკოსი vs. მონაცემთა მეცნიერი vs. ML ინჟინერი

სამი განსხვავებული როლი

მონაცემთა სფეროს სამი ძირითადი კარიერული მიმართულება არსებობს, რომლებიც სხვადასხვა უნარებს საჭიროებენ.

მონაცემთა ანალიტიკოსი

- ფოკუსი: სამეწარმეო კითხვებზე პასუხი არსებული მონაცემებით

- ინსტრუმენტები: SQL, Excel, Tableau, Python ან R საბაზისო დონეზე

- ყოველდღიური საქმიანობა: სქემები, ანგარიშები, A/B ტესტების ანალიზი, პრეზენტაციები დაინტერესებული მხარეებისთვის

- შესვლის გზა: ხშირად ყველაზე ხელმისაწვდომი. ბევრი ანალიტიკოსი იწყებს CS-ის ხარისხის გარეშე.

მონაცემთა მეცნიერი

- ფოკუსი: პროგნოზული მოდელების შექმნა და შაბლონების პოვნა კომპლექსურ მონაცემებში

- ინსტრუმენტები: Python (pandas, scikit-learn, matplotlib), სტატისტიკა, SQL, Jupyter notebooks

- ყოველდღიური საქმიანობა: EDA, მახასიათებლების ინჟინერია, მოდელის შექმნა, ექსპერიმენტები

- შესვლის გზა: ჩვეულებრივ საჭიროა სტატისტიკური ან რაოდენობრივი ფონი. Bootcamp-ები და დამოუკიდებელი სწავლა მისაღებია.

მანქანური სწავლების ინჟინერი

- ფოკუსი: მოდელების განლაგება და მასშტაბირება საწარმოო სისტემებში

- ინსტრუმენტები: Python, TensorFlow/PyTorch, Docker, ღრუბლოვანი პლატფორმები (AWS/GCP), API-ები

- ყოველდღიური საქმიანობა: მოდელის ოპტიმიზაცია, პაიპლაინის ინფრასტრუქტურა, საწარმოო მოდელების მონიტორინგი

- შესვლის გზა: ჩვეულებრივ საჭიროა მძლავრი პროგრამული ინჟინერიის უნარები პლუს ML ცოდნა.

პორტფოლიოს აშენება

დამქირავებლები ზრუნავენ იმაზე, რისი გაკეთება შეგიძლიათ, და არა მხოლოდ რა გისწავლიათ. GitHub-ზე 3-5 მყარი პროექტისგან შემდგარი პორტფოლიო სერტიფიკატებზე მნიშვნელოვანია. კარგი პროექტები იყენებს რეალურ (არა სათამაშო) მონაცემებს, მოიცავს მკაფიო დოკუმენტაციას და გვიჩვენებს სრულ პაიპლაინს — ჭუჭყიანი მონაცემებიდან მოქმედ ინფორმაციამდე.

თქვენი შემდეგი ნაბიჯები

სად გაგრძელდეს

ვაჭრობის ინსტრუმენტები უფასო და ხელმისაწვდომია:

- pandas — Python-ის სტანდარტული ბიბლიოთეკა მონაცემების მანიპულაციისთვის

- matplotlib / seaborn — ვიზუალიზაციის ბიბლიოთეკები

- scikit-learn — კლასიკური მანქანური სწავლების ძირითადი ინსტრუმენტი

- Jupyter notebooks — ინტერაქტიული კოდირების გარემოები, სადაც შეგიძლიათ კოდი, გამომავალი და შენიშვნები გაერთიანოთ

- Kaggle — უფასო მონაცემთა ნაკრებები, შეჯიბრებები და პრაქტიკოსთა საზოგადოება

დაიწყეთ ერთი რეალური მონაცემთა ნაკრებით, რომელიც თქვენ გაინტერესებთ. გადმოწერეთ, გაასუფთავეთ, გამოიკვლიეთ და შეეცადეთ კითხვაზე პასუხის გაცემა. ეს ერთი პროექტი გაგასწავლით უფრო მეტს, ვიდრე ნებისმიერი კურსი.