Ravindra BagaleCourses & study guides English Track your progress

Amazon Redshift म्हणजे काय? AWS वर Data Warehouse सोप्या भाषेत

By , trainer LinkedIn Last updated:

App DB = एक customer lookup. CFO = वर्षभराची sales by city — analytics. Redshift = columnar warehouse, MPP scans.

या chapter मध्ये तुम्ही काय शिकाल

  • Warehouse vs OLTP
  • Clusters/Serverless/Spectrum
  • COPY + distribution
  • Industries
  • Lab, errors, FAQ, interview

1. आधी रोजचं उदाहरण

सूरत marketplace: Parquet → S3. Glue clean → Redshift/Spectrum dashboards. Checkout अजून RDS — 365-day GROUP BY नाही.

2. Redshift का?

हे का लागतं?

Row store = transactions. Columnar = BI scan/compress. Redshift = MPP + AWS integrations.

  • Large history aggregations
  • OLTP वेगळं
  • Spectrum on S3
  • RA3/Serverless

3. Amazon Redshift काय?

हे काय आहे?

Redshift = managed PG-compatible warehouse. Clusters/RA3/Serverless. Distribution/sort keys. COPY from S3.

Pieceकाम
LeaderPlan/coordinate
ComputeStore+slices
RA3Storage≠compute
ServerlessAuto RPU
COPYBulk from S3
SpectrumExternal S3 SQL
S3/OLTP → COPY/Spectrum → Redshift → BIRaw facts
Dashboards/SQL

4. Load व model सोपं

कसं करायचं (step by step)

  1. OLTP≠warehouse.
  2. S3 prefixes/dates.
  3. dist/sort start simple.
  4. IAM + COPY.
  5. Spectrum cold.
  6. Vacuum/analyze.
  7. WLM/concurrency.
  8. KMS + private.
  9. SQL migrations CI.
  10. STL/SVL monitor.
-- Mental COPY
-- COPY sales FROM 's3://bucket/facts/sales/'
-- IAM_ROLE 'arn:aws:iam::111122223333:role/RedshiftLoad'
-- FORMAT AS PARQUET;

5. Redshift vs RDS vs Athena

Choiceकधी
RDSOLTP
RedshiftCurated BI
AthenaAd-hoc lake SQL
GlueTransform/catalog

6. Multi-industry notes

Retail POS nightly. Insurance month-end SQL. Gaming events ≠ live player DB.

7. Industries आणि roles

  • Retail analytics
  • Fintech marts
  • Healthcare cohorts
  • AdTech aggregates
  • Data eng/analyst/BI

8. Lab: Redshift + COPY mindset

Org block नसेल तर ap-south-1 (Mumbai). आधी budget alert.

कसं करायचं (step by step)

  1. Serverless/tiny cluster.
  2. IAM S3 role.
  3. Sample to S3.
  4. COPY + GROUP BY.
  5. Optional Spectrum.

Cleanup (billing थांबवा)

  1. Pause/delete + S3 clean.
  2. IAM cleanup.

9. सामान्य errors आणि fixes

प्रत्येक row = खरी चूक. Panic करण्याआधी fix वाचा.

Error / लक्षणFix
RDS reports meltMove analytics.
COPY IAMRole trust.
Bad distkeyEVEN first.
SELECT *Project.
Public RSPrivate.
EncodingANALYZE/encodings.
Tiny filesCompact.
VacuumSchedule.
Shared superuserLeast privilege.
Idle 24x7Pause/Serverless.

10. Troubleshooting checklist

  1. COPY deny → IAM/bucket.
  2. WLM tuning.
  3. Skew check.
  4. Disk full.
  5. SSL.
  6. Glue perms.

11. FAQ

प्र. PG compatible?

Similar not identical.

प्र. Snowflake?

Compare TCO/skills.

प्र. Serverless?

Variable vs steady.

प्र. ETL?

Usually yes.

प्र. RLS?

Careful design.

प्र. Backup?

Snapshots on.

12. Interview Q&A

प्र. Redshift?

Columnar MPP warehouse.

प्र. Columnar?

Columns+compress.

प्र. COPY?

Bulk from S3.

प्र. Distkey?

Placement across nodes.

प्र. Spectrum?

S3 external SQL.

प्र. OLTP vs?

Tx vs analytics.

13. Tips — English, मराठी आणि हिंदी

Ravindra Bagale's Tip (EN)

Do not just point Metabase at RDS. Warehouses exist so checkout stays fast while finance scans history.

Ravindra Bagale's Tip (MR)

Metabase थेट RDS ला नका. Checkout जलद राहू द्या; finance warehouse स्कॅन करो.

Tip (HI)

Metabase सीधे RDS पर मत लगाओ — checkout तेज रहे, history warehouse स्कैन करे।

घरी करून बघा

  1. एक RDS + एक Redshift query.
  2. KEY vs EVEN 2 lines.
  3. Daily sales S3 naming.

थोडक्यात सांगायचं तर

  1. Warehouse≠OLTP.
  2. COPY/Spectrum.
  3. Keys+WLM.
  4. Private+KMS.

उजळणी, मुलाखत आणि तुलना cards

हा lesson काही मिनिटांत revise करा. Cards phone वर save करा किंवा PNG download करा. प्रत्येक card वरचा QR हा lesson उघडतो.

उजळणी card: Amazon Redshift म्हणजे काय?. OLTP ≠ heavy analytics. Columnar warehouse for BI/SQL. Cluster/Serverless → COPY → DIST/SORT → BI. COPY sales; BI all day.
उजळणी card: Amazon Redshift म्हणजे काय? · PNG download करा · Card page उघडा
उजळणी card: DISTKEY आणि SORTKEY. Wrong dist = slow joins. DIST=join colocate; SORT=filter prune. Join key DIST; date SORT; ANALYZE. customer_id + order_date.
उजळणी card: DISTKEY आणि SORTKEY · PNG download करा · Card page उघडा
तुलना: Amazon Redshift vs Amazon Athena. Amazon Redshift: Managed warehouse + BI. Amazon Athena: S3 वर serverless SQL.
तुलना: Amazon Redshift vs Amazon Athena · PNG download करा · Card page उघडा
तुलना: Amazon Redshift vs Amazon RDS/Aurora. Amazon Redshift: Columnar analytics. Amazon RDS/Aurora: Row-store OLTP.
तुलना: Amazon Redshift vs Amazon RDS/Aurora · PNG download करा · Card page उघडा
मुलाखत card: Redshift एका वाक्यात?. Columnar analytics warehouse. OLTP ≠ Redshift. COPY + BI.
मुलाखत card: Redshift एका वाक्यात? · PNG download करा · Card page उघडा
मुलाखत card: DISTKEY काय करते?. Co-locate join keys. High-card join key. Both DIST customer_id.
मुलाखत card: DISTKEY काय करते? · PNG download करा · Card page उघडा
मुलाखत card: SORTKEY काय करते?. Zone-map pruning. Often date/time. Date filter prunes.
मुलाखत card: SORTKEY काय करते? · PNG download करा · Card page उघडा
मुलाखत card: Redshift Spectrum?. SQL over S3 from Redshift. Cold S3; hot local. 2019 via Spectrum.
मुलाखत card: Redshift Spectrum? · PNG download करा · Card page उघडा

अजून cards: Ravi Sir's Cards.

सराव Tasks

या scenario बद्दल

Ahmednagar Sugar Co-op हा अहिल्यानगर मधला साखर सहकारी व्यवसाय आहे. Balasaheb Pawar त्यांचं IT व cloud काम पाहतात. त्यांचे पैसे INR मध्ये मोजले जातात आणि AWS resources ap-south-1 Region मध्ये चालतात. खालच्या tasks मध्ये तुम्ही या lesson मध्ये शिकलेलं वापरून त्यांची खरी कामं करता. सगळी नावं, account IDs, IP addresses व numbers सरावासाठी काल्पनिक आहेत.

0 / 16

सोपं Clusters

का: Warehouse.

काय करायचं: Clusters.

कसं करायचं:
  1. Task वाचा आणि ते कोणत्या AWS service बद्दल आहे ते ठरवा.
  2. aws लिहा, मग service चं नाव, मग operation (action शब्द).
  3. प्रत्येक आवश्यक flag (--name) व त्यापुढे task मधली value लिहा.
  4. Flags कोणत्याही क्रमाने चालतात. Check answer दाबा.

सोपं Param groups

का: WLM.

काय करायचं: Parameter groups.

कसं करायचं:
  1. Task वाचा आणि ते कोणत्या AWS service बद्दल आहे ते ठरवा.
  2. aws लिहा, मग service चं नाव, मग operation (action शब्द).
  3. प्रत्येक आवश्यक flag (--name) व त्यापुढे task मधली value लिहा.
  4. Flags कोणत्याही क्रमाने चालतात. Check answer दाबा.

सोपं Tags

का: Cost.

काय करायचं: nagarsugar-dw tags.

कसं करायचं:
  1. Task वाचा आणि ते कोणत्या AWS service बद्दल आहे ते ठरवा.
  2. aws लिहा, मग service चं नाव, मग operation (action शब्द).
  3. प्रत्येक आवश्यक flag (--name) व त्यापुढे task मधली value लिहा.
  4. Flags कोणत्याही क्रमाने चालतात. Check answer दाबा.

सोपं Columnar

का: Warehouse.

काय करायचं: Columnar तर 1.

कसं करायचं:
  1. Task मधले numbers लिहून घ्या.
  2. कागदावर step by step काढा.
  3. Box मध्ये फक्त final उत्तर लिहा.
  4. Check answer दाबा.

सोपं Not OLTP

का: Use case.

काय करायचं: Not OLTP तर 1.

कसं करायचं:
  1. Task मधले numbers लिहून घ्या.
  2. कागदावर step by step काढा.
  3. Box मध्ये फक्त final उत्तर लिहा.
  4. Check answer दाबा.

मध्यम One cluster

का: Size.

काय करायचं: nagarsugar-dw describe.

कसं करायचं:
  1. Task वाचा आणि ते कोणत्या AWS service बद्दल आहे ते ठरवा.
  2. aws लिहा, मग service चं नाव, मग operation (action शब्द).
  3. प्रत्येक आवश्यक flag (--name) व त्यापुढे task मधली value लिहा.
  4. Flags कोणत्याही क्रमाने चालतात. Check answer दाबा.

मध्यम Snapshots

का: Backups.

काय करायचं: Snapshots.

कसं करायचं:
  1. Task वाचा आणि ते कोणत्या AWS service बद्दल आहे ते ठरवा.
  2. aws लिहा, मग service चं नाव, मग operation (action शब्द).
  3. प्रत्येक आवश्यक flag (--name) व त्यापुढे task मधली value लिहा.
  4. Flags कोणत्याही क्रमाने चालतात. Check answer दाबा.

मध्यम RS security

का: Network.

काय करायचं: Security groups.

कसं करायचं:
  1. Task वाचा आणि ते कोणत्या AWS service बद्दल आहे ते ठरवा.
  2. aws लिहा, मग service चं नाव, मग operation (action शब्द).
  3. प्रत्येक आवश्यक flag (--name) व त्यापुढे task मधली value लिहा.
  4. Flags कोणत्याही क्रमाने चालतात. Check answer दाबा.

मध्यम Subnet groups

का: VPC.

काय करायचं: Subnet groups.

कसं करायचं:
  1. Task वाचा आणि ते कोणत्या AWS service बद्दल आहे ते ठरवा.
  2. aws लिहा, मग service चं नाव, मग operation (action शब्द).
  3. प्रत्येक आवश्यक flag (--name) व त्यापुढे task मधली value लिहा.
  4. Flags कोणत्याही क्रमाने चालतात. Check answer दाबा.

मध्यम Pause

का: Cost.

काय करायचं: PauseCluster nagarsugar-dw.

कसं करायचं:
  1. { "Version": "2012-10-17", "Statement": [ ... ] } ने सुरू करा.
  2. प्रत्येक statement मध्ये Effect, Action व Resource लिहा.
  3. Task ला लागेल तेवढंच द्या (least privilege).
  4. Double quotes व commas नीट वापरा. Check answer दाबा.

मध्यम DISTKEY

का: Join.

काय करायचं: distkey customer_id.

कसं करायचं:
  1. Task मधल्या top-level keys पासून सुरू करा.
  2. Child keys 2 spaces ने indent करा (tabs नकोत).
  3. प्रत्येक property मध्ये task मधली value भरा.
  4. Check answer दाबा. Keys चा क्रम महत्त्वाचा नाही.

मध्यम Spectrum

का: Lake.

काय करायचं: Spectrum तर 1.

कसं करायचं:
  1. Task मधले numbers लिहून घ्या.
  2. कागदावर step by step काढा.
  3. Box मध्ये फक्त final उत्तर लिहा.
  4. Check answer दाबा.

मध्यम Nodes

का: Size.

काय करायचं: Nodes?

कसं करायचं:
  1. Task मधले numbers लिहून घ्या.
  2. कागदावर step by step काढा.
  3. Box मध्ये फक्त final उत्तर लिहा.
  4. Check answer दाबा.

अवघड Events

का: Ops.

काय करायचं: Events.

कसं करायचं:
  1. Task वाचा आणि ते कोणत्या AWS service बद्दल आहे ते ठरवा.
  2. aws लिहा, मग service चं नाव, मग operation (action शब्द).
  3. प्रत्येक आवश्यक flag (--name) व त्यापुढे task मधली value लिहा.
  4. Flags कोणत्याही क्रमाने चालतात. Check answer दाबा.

अवघड Describe

का: Analyst.

काय करायचं: DescribeClusters *.

कसं करायचं:
  1. { "Version": "2012-10-17", "Statement": [ ... ] } ने सुरू करा.
  2. प्रत्येक statement मध्ये Effect, Action व Resource लिहा.
  3. Task ला लागेल तेवढंच द्या (least privilege).
  4. Double quotes व commas नीट वापरा. Check answer दाबा.

अवघड SORTKEY

का: Filter.

काय करायचं: sortkey order_date.

कसं करायचं:
  1. Task मधल्या top-level keys पासून सुरू करा.
  2. Child keys 2 spaces ने indent करा (tabs नकोत).
  3. प्रत्येक property मध्ये task मधली value भरा.
  4. Check answer दाबा. Keys चा क्रम महत्त्वाचा नाही.

सगळे सराव tasks Task Hub मध्ये पाहा →