Data Science · मराठी आवृत्ती

9.4 Outliers: वेगळ्या दिसणाऱ्या values तपासा

रवींद्र बागले यांच्या course वर आधारित · सहज मराठीत explanation

या काल्पनिक lab मध्ये 120 पेक्षा जास्त delivery minutes sensor error किंवा typo मानले आहेत. त्या values NaN करून उरलेल्या minutes च्या median ने भरतो:

# fictional: delivery mins > 120 treated as bad sensor / typo
df.loc[df["mins"] > 120, "mins"] = np.nan
df["mins"] = df["mins"].fillna(df["mins"].median())

Cleaning checklist

1. Column names एकसारखे करा.
2. City आणि status चा text strip/title-case करा.
3. Amounts साठी to_numeric; invalid text NaN मध्ये बदला.
4. Missing city भरायची की row काढायची ते ठरवा.
5. योग्य business key वर duplicate काढा — या छोट्या sample मध्ये order_id.
6. अशक्य minutes/amounts तपासून ठरलेल्या नियमानुसार cap किंवा null करा.
7. df.to_csv("data/orders_clean.csv", index=False) run करा.
8. पुन्हा info() आणि आधी/नंतरचे row counts तपासा.

BLK-2 ची एक row, numeric amount 1299, Mins 999 च्या जागी median आणि missing city च्या जागी Unknown दिसेल. वेगळा नियम वापरला तर तो नोंदवा.

Practice

फक्त course मधल्या महाराष्ट्रातील cities ठेवा. Unknown भरला असेल तर त्या rows काढा. orders_clean.csv export करा आणि df["city"].value_counts() print करा.

Recap

Rename → text standardise → numeric conversion → missing values चा नियम → duplicates → outliers → export. Rows काढल्यावर count ची नोंद ठेवा. आता dates, IST आणि text पाहू.