نحوه استفاده از Iterative Imputation

نحوه استفاده از Iterative Imputation

مجموعه داده ها ممکن است مقادیر گم شده ای داشته باشند و این می تواند برای بسیاری از الگوریتم های یادگیری ماشین مشکلاتی ایجاد کند. به این ترتیب، شناسایی و جایگزینی مقادیر از دست رفته برای هر ستون در داده‌های ورودی قبل از مدل‌سازی کار پیش‌بینی، تمرین خوبی است. به این می‌گویند گمشده داده یا به اختصار imputing. یک رویکرد پیچیده شامل = تعریف مدلی برای پیش‌بینی هر ویژگی از دست رفته به عنوان تابعی از همه ویژگی‌های دیگر و تکرار چندین بار این فرآیند تخمین مقادیر ویژگی است. تکرار اجازه می دهد تا مقادیر تخمینی تصفیه شده برای ویژگی های دیگر به عنوان ورودی در تکرارهای بعدی پیش بینی مقادیر از دست رفته استفاده شود. این به طور کلی به عنوان انتساب تکراری نامیده می شود. در این آموزش، نحوه استفاده از استراتژی‌های انتساب تکراری برای داده‌های از دست رفته در یادگیری ماشین را خواهید یافت پس از تکمیل این آموزش، خواهید دانست:
 مقادیر گم شده باید با مقادیر NaN مشخص شوند و می توان آنها را با مقادیر تکراری تخمین زده جایگزین کرد.
 نحوه بارگذاری یک مقدار CSV با مقادیر از دست رفته و علامت گذاری مقادیر از دست رفته با مقادیر NaN و گزارش تعداد و درصد مقادیر از دست رفته برای هر ستون.
 چگونه می توان مقادیر گمشده را با مدل های تکرار شونده به عنوان یک روش آماده سازی داده در هنگام ارزیابی مدل ها و هنگام برازش یک مدل نهایی برای پیش بینی داده های جدید نسبت داد.
بیا شروع کنیم.
مرور کلی آموزش

این آموزش به سه بخش تقسیم می شود؛ آن ها هستند:
1. انتساب تکراری (Iterative Imputation)
2. مجموعه داده کولیک اسب
3. Iterative Imputation با IterativeImputer

انتساب تکراری (Iterative Imputation)

ممکن است یک مجموعه داده دارای مقادیر گم شده باشد. اینها ردیف هایی از داده ها هستند که یک یا چند مقدار یا ستون در آن ردیف وجود ندارد. ممکن است مقادیر به طور کامل گم شده باشند یا ممکن است با یک کاراکتر یا مقدار خاص مانند علامت سوال (“؟”) علامت گذاری شوند. مقادیر ممکن است به دلایل زیادی وجود نداشته باشند، اغلب مختص حوزه مشکل، و ممکن است شامل دلایلی مانند اندازه گیری های خراب یا در دسترس نبودن باشد. اکثر الگوریتم‌های یادگیری ماشینی به مقادیر ورودی عددی و یک مقدار برای هر سطر و ستون در یک مجموعه داده نیاز دارند. به این ترتیب، مقادیر از دست رفته می تواند برای الگوریتم های یادگیری ماشین مشکلاتی ایجاد کند.
به این ترتیب، شناسایی مقادیر از دست رفته در یک مجموعه داده و جایگزینی آنها با یک مقدار عددی معمول است. به این می گویند داده imputing یا از دست رفته داده. یکی از رویکردهای منتسب مقادیر گمشده، استفاده از یک مدل انتساب تکراری است.