Ravindra BagaleCourses & study guides English Track your progress

DynamoDB Streams आणि Lambda: Change Data Capture Patterns

By , trainer LinkedIn Last updated:

Jordan: poison Stream no DLQ. View types, Lambda CDC, fan-out. CRUD link.

या chapter मध्ये तुम्ही काय शिकाल

  • Everyday story
  • Why/What/How
  • Commands
  • Industries
  • Lab

1. रोजचे उदाहरण: CCTV till

Till change = stream. Lambda = guard. View type = clip detail. DLQ = खराब clip shelf.

2. Vertical steps

Why -> What -> How -> Lab -> CleanupWhyWhatHowLabCleanup
Cleanup

3. हे का लागतं?

हे का लागतं?

CDC गरज; Scan poll वाईट.

4. हे काय आहे?

हे काय आहे?

Streams = ordered log. View types. Lambda ESM. At-least-once + idempotent + DLQ.

5. कसं करायचं

कसं करायचं (step by step)

  1. Enable stream.
  2. Lambda+DLQ.
  3. Idempotent.
  4. Fan-out.
  5. Alarms.

6. ESM

Batch/retry/DLQ; lab LATEST; replay careful.

7. Fan-out

SNS/EventBridge किंवा SQS per consumer.

8. Commands: output आणि अर्थ

aws dynamodb update-table --table-name lab-dda-shop \
  --stream-specification StreamEnabled=true,StreamViewType=NEW_AND_OLD_IMAGES
# Output: StreamSpecification enabled. Meaning: each change includes before/after images.
aws dynamodb describe-table --table-name lab-dda-shop --query 'Table.LatestStreamArn'
# Output: arn:aws:dynamodb:ap-south-1:.../stream/.... Meaning: use this ARN on Lambda event source mapping.

Enable stream; ARN to Lambda; pick view type for cost.

9. Industry stories

  • Fintech
  • Search
  • Cache
  • Analytics
  • Support

10. Lab

कसं करायचं (step by step)

  1. Enable.
  2. Lambda.
  3. Prove.
  4. Cleanup.

Cleanup

  1. Delete lab.
  2. Confirm.

11. Access-pattern workshop (आधी कागदावर)

  1. प्रत्येक screen/API लिहा.
  2. प्रत्येकासाठी key/query English मध्ये.
  3. Relationships mark करा.
  4. Range गरज गोल करा.
  5. मगच PK/SK/GSI.
  6. Peak per PK.
  7. Entity JSON नमुना.
  8. Peer review.

12. Copy-paste DynamoDB CLI starters

# Region habit for this series
export AWS_DEFAULT_REGION=ap-south-1

# Describe + sample
aws dynamodb describe-table --table-name ShopApp
aws dynamodb scan --table-name ShopApp --max-items 3

# Query by PK (replace names)
aws dynamodb query --table-name ShopApp   --key-condition-expression "PK = :pk"   --expression-attribute-values '{":pk":{"S":"USER#u123"}}'

# On-demand capacity mode check
aws dynamodb describe-table --table-name ShopApp   --query 'Table.BillingModeSummary'

# Streams status
aws dynamodb describe-table --table-name ShopApp   --query 'Table.StreamSpecification'

13. अजून industry stories

  • Retail cart single-table
  • Gaming leaderboard shard
  • IoT time-series TTL
  • Clinic conditional Put
  • Fintech audit Streams
  • Travel global tables

14. Glossary

Termअर्थ
PKPartition ठरवणारी key
SKPartition आतील क्रम
Item collectionएक PK चे सर्व items
GSIAlternate index
LSISame PK, वेगळा SK
RCU/WCUProvisioned units
Conditional writeCondition true तरच write
Stream viewStream मध्ये काय येतं

15. Practice: मोठ्याने explain

  1. 60s access patterns first.
  2. 60s hot + shard.
  3. 60s GSI vs LSI.
  4. 60s capacity modes.
  5. 60s version lock.
  6. 60s Streams audit.
  7. Record ×2.

16. Safe lab hygiene

  • Budget alert.
  • lab- prefix.
  • On-demand labs.
  • Delete after.
  • DLQ required.
  • Owner+Expiry tags.
  • Intro chapter
  • CRUD survey
  • CLI chapter
  • SDK chapter
  • Serverless projects

18. Single-table sketch pad

Console आधी एक mentally table. Shop: USER#, ORD#, ITEM#, PROD#.

EntityPKSKAttrs
UserUSER#u1PROFILEname, city
OrderUSER#u1ORD#...total, status
Order itemORD#o9ITEM#sku1qty, price
ProductPROD#sku1METAtitle, stock

19. दहा oral drills

  1. Access pattern?
  2. PK prefixes?
  3. Hot symptom?
  4. Sparse GSI?
  5. LSI timing?
  6. On-demand bill?
  7. attribute_not_exists?
  8. View type trade-off?
  9. Poison loop?
  10. Which chapter for Put?

20. Capacity / throttle drill

  1. CW metrics उघडा.
  2. Mode note.
  3. RCU/WCU लिहा.
  4. Hottest PK.
  5. Mitigation.
  6. Budget alert.
  7. GSI audit.
  8. Streams audit.

21. Condition cheatsheet

# Create-once
attribute_not_exists(PK)

# Optimistic lock
version = :v

# Stock / seat
stock > :zero
#status = :free

# Combine
attribute_not_exists(PK) AND #type = :user

Conditions = seatbelt. SDK chapter = full samples.

22. Streams consumer checklist

  • View type.
  • DLQ.
  • Idempotent.
  • IteratorAge.
  • No loop.
  • Fan-out.
  • Lab disable.
  • Sequence.
  • No duplicate verbs.
  • Projects later.

24. अधिक oral drills

  1. 45s PM.
  2. Chat PK/SK.
  3. 3 metrics.
  4. Refuse GSI.
  5. Txn story.
  6. ALO.
  7. Scan->Query.
  8. Cleanup.

25. Teacher story: notebook → database

Ravindra Sir नी एका दुकानात सगळं एका notebook मध्ये बघितलं — customer, order, payment. unpaid bills शोधायला पाने उलटायला लागत. DynamoDB single-table म्हणजे तोच notebook नीट लेबल (PK/SK) आणि गरज असेल तरच दुसरी tab (GSI). दहा वेगळे books तयार करू नका जोपर्यंत खरंच दहा वेगळे व्यवसाय नाहीत.

Meera (clinic), Omar (travel), Aisha (retail) एकत्र design करतात तेव्हाही आधी कागद: screen यादी, key sketch, sample JSON, peer review. Console शेवटी. म्हणूनच ही deep series PutItem पुन्हा लिहित नाही — intro आणि CRUD ला link करते.

26. सोळा mini tasks (self-check)

  1. Cart साठी तीन access patterns.
  2. User + orders PK/SK.
  3. एक hot anti-pattern.
  4. 40s मध्ये write sharding.
  5. GSI vs LSI without notes.
  6. Sparse index projection का?
  7. Flash sale mode.
  8. पाच bill line items.
  9. Create-once condition शब्दात.
  10. Version lock वर्णन.
  11. Txn कधी?
  12. Audit view type.
  13. दोन consumer safety rules.
  14. Stream lag metric.
  15. PutItem CLI कुठे?
  16. Lab cleanup checklist.

27. मराठी classroom lines

  • Mantra: patterns first.
  • Hot = गर्दी.
  • GSI vs LSI.
  • Modes.
  • Seatbelt.
  • ALO.

28. Hindi bridge lines

  • Patterns first.
  • Hot load.
  • GSI/LSI.
  • Modes.
  • Txn.
  • Idempotent.

29. सामान्य errors आणि fixes

प्रत्येक row = खरी चूक. Panic करण्याआधी fix वाचा.

Error / लक्षणFix
No DLQAdd
Not idemIdem
Fat viewKEYS_ONLY
PoisonDLQ
MultiFan-out
No ageAlarm
LoopMarkers
ExactlyAt-least
ShardsWatch

30. Troubleshooting checklist

  1. Enable/check.
  2. Fix Lambda.
  3. Idem.
  4. Filter.
  5. View type.

31. FAQ

प्र. Single table always?

Related patterns साठी हो; religion नाही.

प्र. RDS अजून?

Joins/SQL reports साठी हो — intro chapter.

प्र. Scan वाईट?

Hot path = Query/Get; Scan rare.

प्र. Put/Get कुठे?

CRUD/CLI/SDK chapters — link.

प्र. Views?

Four.

प्र. ALO?

Idempotent.

प्र. DLQ?

Failed shelf.

प्र. Fan-out?

Many consumers.

32. Interview Q&A

प्र. Why?

CDC.

प्र. KEYS?

Light.

प्र. Poison?

DLQ.

प्र. Exact?

No.

प्र. Audit?

Append-only.

प्र. SLO?

Alarm lag.

33. Tips — English, मराठी आणि हिंदी

Ravindra Bagale's Tip (EN)

Streams are at-least-once. Idempotent consumers + DLQ are not optional.

Ravindra Bagale's Tip (MR)

At-least-once; idempotent + DLQ compulsory.

Tip (HI)

Stream = at-least-once। Idempotent + DLQ जरूरी।

घरी करून बघा

  1. View pick.
  2. Idem rule.
  3. CRUD.

थोडक्यात सांगायचं तर

  1. CDC.
  2. Lean.
  3. DLQ.
  4. Fan-out.

उजळणी, मुलाखत आणि तुलना cards

हा lesson काही मिनिटांत revise करा. Cards phone वर save करा किंवा PNG download करा. प्रत्येक card वरचा QR हा lesson उघडतो.

उजळणी card: Streams CDC map. Polling hurts. Enable → view → Lambda → sink. Alarm → fan-out. Audit images.
उजळणी card: Streams CDC map · PNG download करा · Card page उघडा
उजळणी card: Safe stream consumers. Poison + loops. Idempotent + DLQ + no loop. Build → DLQ → alarm → replay → disable. DLQ gate.
उजळणी card: Safe stream consumers · PNG download करा · Card page उघडा
तुलना: KEYS_ONLY vs NEW_AND_OLD_IMAGES. KEYS_ONLY: Cheap. NEW_AND_OLD_IMAGES: Rich.
तुलना: KEYS_ONLY vs NEW_AND_OLD_IMAGES · PNG download करा · Card page उघडा
तुलना: Direct many Lambdas vs SNS/EventBridge fan-out. Direct many Lambdas: Coupled. SNS/EventBridge fan-out: Decoupled.
तुलना: Direct many Lambdas vs SNS/EventBridge fan-out · PNG download करा · Card page उघडा
मुलाखत card: View type?. Choice. View trade-off. Audit both.
मुलाखत card: View type? · PNG download करा · Card page उघडा
मुलाखत card: Idempotent का?. Delivery. At-least-once. eventID.
मुलाखत card: Idempotent का? · PNG download करा · Card page उघडा
मुलाखत card: IteratorAge?. Ops. Lag. Alarm early.
मुलाखत card: IteratorAge? · PNG download करा · Card page उघडा
मुलाखत card: CDC fan-out?. Architecture. SNS/EB fan-out. Do not pile.
मुलाखत card: CDC fan-out? · PNG download करा · Card page उघडा

अजून cards: Ravi Sir's Cards.

सराव Tasks

या scenario बद्दल

Ahmednagar Sugar Co-op हा अहिल्यानगर मधला साखर सहकारी व्यवसाय आहे. Balasaheb Pawar त्यांचं IT व cloud काम पाहतात. त्यांचे पैसे INR मध्ये मोजले जातात आणि AWS resources ap-south-1 Region मध्ये चालतात. खालच्या tasks मध्ये तुम्ही या lesson मध्ये शिकलेलं वापरून त्यांची खरी कामं करता. सगळी नावं, account IDs, IP addresses व numbers सरावासाठी काल्पनिक आहेत.

0 / 16

सोपं Streams

का: Def.

काय करायचं: Streams capture तर 1.

कसं करायचं:
  1. Task मधले numbers लिहून घ्या.
  2. कागदावर step by step काढा.
  3. Box मध्ये फक्त final उत्तर लिहा.
  4. Check answer दाबा.

सोपं Images

का: View.

काय करायचं: Both images तर 1.

कसं करायचं:
  1. Task मधले numbers लिहून घ्या.
  2. कागदावर step by step काढा.
  3. Box मध्ये फक्त final उत्तर लिहा.
  4. Check answer दाबा.

सोपं ALO

का: Delivery.

काय करायचं: ALO idempotent तर 1.

कसं करायचं:
  1. Task मधले numbers लिहून घ्या.
  2. कागदावर step by step काढा.
  3. Box मध्ये फक्त final उत्तर लिहा.
  4. Check answer दाबा.

सोपं IteratorAge

का: Metric.

काय करायचं: IteratorAge lag तर 1.

कसं करायचं:
  1. Task मधले numbers लिहून घ्या.
  2. कागदावर step by step काढा.
  3. Box मध्ये फक्त final उत्तर लिहा.
  4. Check answer दाबा.

सोपं Describe

का: CLI.

काय करायचं: describe.

कसं करायचं:
  1. Task वाचा आणि ते कोणत्या AWS service बद्दल आहे ते ठरवा.
  2. aws लिहा, मग service चं नाव, मग operation (action शब्द).
  3. प्रत्येक आवश्यक flag (--name) व त्यापुढे task मधली value लिहा.
  4. Flags कोणत्याही क्रमाने चालतात. Check answer दाबा.

सोपं View

का: Pick.

काय करायचं: mapping.

कसं करायचं:
  1. Task मधल्या top-level keys पासून सुरू करा.
  2. Child keys 2 spaces ने indent करा (tabs नकोत).
  3. प्रत्येक property मध्ये task मधली value भरा.
  4. Check answer दाबा. Keys चा क्रम महत्त्वाचा नाही.

सोपं Enable

का: Order.

काय करायचं: Enable first तर 1.

कसं करायचं:
  1. Task मधले numbers लिहून घ्या.
  2. कागदावर step by step काढा.
  3. Box मध्ये फक्त final उत्तर लिहा.
  4. Check answer दाबा.

मध्यम DLQ

का: Safety.

काय करायचं: DLQ poison तर 1.

कसं करायचं:
  1. Task मधले numbers लिहून घ्या.
  2. कागदावर step by step काढा.
  3. Box मध्ये फक्त final उत्तर लिहा.
  4. Check answer दाबा.

मध्यम Fan-out

का: Pattern.

काय करायचं: Fan-out तर 1.

कसं करायचं:
  1. Task मधले numbers लिहून घ्या.
  2. कागदावर step by step काढा.
  3. Box मध्ये फक्त final उत्तर लिहा.
  4. Check answer दाबा.

मध्यम KEYS_ONLY

का: View.

काय करायचं: KEYS_ONLY+Get तर 1.

कसं करायचं:
  1. Task मधले numbers लिहून घ्या.
  2. कागदावर step by step काढा.
  3. Box मध्ये फक्त final उत्तर लिहा.
  4. Check answer दाबा.

मध्यम Loop

का: Risk.

काय करायचं: Write loop तर 1.

कसं करायचं:
  1. Task मधले numbers लिहून घ्या.
  2. कागदावर step by step काढा.
  3. Box मध्ये फक्त final उत्तर लिहा.
  4. Check answer दाबा.

मध्यम Checklist

का: List.

काय करायचं: checks.

कसं करायचं:
  1. Task मधल्या top-level keys पासून सुरू करा.
  2. Child keys 2 spaces ने indent करा (tabs नकोत).
  3. प्रत्येक property मध्ये task मधली value भरा.
  4. Check answer दाबा. Keys चा क्रम महत्त्वाचा नाही.

अवघड Link

का: Complement.

काय करायचं: Link CRUD तर 1.

कसं करायचं:
  1. Task मधले numbers लिहून घ्या.
  2. कागदावर step by step काढा.
  3. Box मध्ये फक्त final उत्तर लिहा.
  4. Check answer दाबा.

अवघड Lab

का: Hygiene.

काय करायचं: Disable lab Streams तर 1.

कसं करायचं:
  1. Task मधले numbers लिहून घ्या.
  2. कागदावर step by step काढा.
  3. Box मध्ये फक्त final उत्तर लिहा.
  4. Check answer दाबा.

अवघड CDC

का: Sink.

काय करायचं: CDC sinks तर 1.

कसं करायचं:
  1. Task मधले numbers लिहून घ्या.
  2. कागदावर step by step काढा.
  3. Box मध्ये फक्त final उत्तर लिहा.
  4. Check answer दाबा.

अवघड Shards

का: Parallel.

काय करायचं: Shards parallel तर 1.

कसं करायचं:
  1. Task मधले numbers लिहून घ्या.
  2. कागदावर step by step काढा.
  3. Box मध्ये फक्त final उत्तर लिहा.
  4. Check answer दाबा.

सगळे सराव tasks Task Hub मध्ये पाहा →