# 5.7 Web refresh आणि source चा योग्य वापर

Source: https://ravindrabagale.com/mr/powerbi/ch05-web-data-apis-and-google-sheets/5-7-refreshing-web-data-and-ethics.html
Language: mr (Marathi with English technical terms)

Refresh: अनेक public URLs / APIs थेट cloud मधून refresh होतात. काही browser-based scraping functions साठी gateway लागू शकतो. Dynamic URL साठी 5.3 मधला RelativePath pattern वापरा आणि Service refresh लवकर तपासा.

Rate limits: प्रत्येक refresh मध्ये हजारो requests करू नका. गरजेचेच pages मागवा आणि source च्या caching / request नियमांचा विचार करा.

Source चे नियम: terms of use आणि robots.txt guidance वाचा. Scraping मनाई असेल तर करू नका. Personal data साठी योग्य परवानगी आणि कारण आवश्यक आहे. उपलब्ध असल्यास official API किंवा downloadable dataset वापरा; शंका असेल तर owner ला विचारा.

Practice

College project साठी scraping करण्याआधीची पाच-point checklist लिहा.
उदाहरण checklist

Official API / download उपलब्ध आहे का?

Terms आणि robots.txt काय सांगतात?

Data public आणि वापरण्यास योग्य आहे का?

Request व refresh frequency किती ठेवायची?

Layout बदल किंवा missing columns कसे तपासायचे?

Chapter recap

Static base URL ठेवा, बदलणारे parts RelativePath / Query मध्ये द्या, आवश्यक JSON fields घ्या आणि refresh गरजेपुरताच ठेवा. आता Power Query सविस्तर शिकू.

रवींद्र बागले यांची tip

Data रोज एकदाच बदलत असेल तर छोट्या website ला दर अर्ध्या तासाने request पाठवण्याची गरज नाही. Refresh frequency data च्या बदलण्याशी जुळवा.