Project: CDC Streams → Lambda → OpenSearch
Maya व Vikram: FindLite CDC to OpenSearch. Streams apply.
या chapter मध्ये तुम्ही काय शिकाल
- Stream
- Idempotent
- Ops
- Backfill
- Lab
1. रोजचे उदाहरण: library catalog
Shelves=DDB; cards=search; watch lag.
2. Vertical steps
3. हे का लागतं?
हे का लागतं?
Search ≠ Query. CDC + idempotent consumer.
4. हे काय आहे?
हे काय आहे?
Streams→Lambda→OS; upsert/delete; backfill.
5. कसं करायचं
कसं करायचं (step by step)
- Fields.
- Stream.
- Handler.
- Verify.
- Failure path.
- Backfill+cleanup.
6. Architecture
| Piece | Role | Note |
|---|---|---|
| DDB | SoR | Keys |
| Streams | CDC | ALO |
| Lambda | Index | Idem |
| OS | Search | Alias |
| Ops | Ops | Age |
7. Commands
aws dynamodb create-table --table-name lab-ddq-catalog \
--attribute-definitions AttributeName=PK,AttributeType=S AttributeName=SK,AttributeType=S \
--key-schema AttributeName=PK,KeyType=HASH AttributeName=SK,KeyType=RANGE \
--billing-mode PAY_PER_REQUEST \
--stream-specification StreamEnabled=true,StreamViewType=NEW_AND_OLD_IMAGES \
--region ap-south-1
aws dynamodb describe-table --table-name lab-ddq-catalog \
--query 'Table.LatestStreamArn'
aws dynamodb put-item --table-name lab-ddq-catalog --item '{
"PK":{"S":"PROD#9"},"SK":{"S":"META"},"title":{"S":"Blue mug"},"tags":{"S":"kitchen"}}'
# Wire event source mapping to Lambda (console/SAM/CDK). Meaning: each change becomes a search mutation.
Idempotent upsert; REMOVE delete; backfill.
8. Industry stories
- Retail
- Support
- HR
- Media
- Legal
- IoT
9. Lab
कसं करायचं (step by step)
- Start.
- Handler.
- Ops+cleanup.
Cleanup
- Lab delete करा.
- Confirm gone.
10. Ops checklist (ship आधी)
- TTL attr + seconds.
- Delete policy.
- PITR on.
- RPO/RTO doc.
- Multi-region rules.
- DAX miss path.
- Tags.
- Budget alert.
11. Copy-paste CLI starters
export AWS_DEFAULT_REGION=ap-south-1
# TTL status
aws dynamodb describe-time-to-live --table-name ShopApp
# PITR / continuous backups
aws dynamodb describe-continuous-backups --table-name ShopApp
# On-demand backup
aws dynamodb create-backup --table-name ShopApp --backup-name lab-shop-$(date +%Y%m%d)
# List backups
aws dynamodb list-backups --table-name ShopApp
# Global table description (v2)
aws dynamodb describe-table --table-name ShopApp --query 'Table.Replicas'
12. अजून industry stories
- Retail TTL carts
- Bank PITR drill
- Travel GT
- Gaming DAX
- Social edges
- IoT TTL
13. Glossary
| Term | अर्थ |
|---|---|
| TTL | Epoch seconds नंतर delete |
| Soft delete | Flag; item राहतो |
| PITR | Continuous restore window |
| Global Table | Multi-region replica |
| LWW | Last write जिंकते |
| DAX | In-memory cache |
| Adjacency | Relationship edges |
| Fan-out | एक write → अनेक copies |
14. Practice: मोठ्याने explain
- 60s delete modes.
- 60s PITR vs backup.
- 60s GT.
- 60s DAX.
- 60s CartLite.
- 60s social.
- Record ×2.
15. Safe lab hygiene
- Budget alert.
- lab- prefix.
- Delete paid extras.
- GT write plan.
- Tags.
- S3 cleanup.
16. या set ची links
- Modeling
- Transactions
- Streams
- CRUD TTL
- Intro
17. Delete / archive pad
| Need | Prefer | Why |
|---|---|---|
| Undo | Soft flag | Restore |
| Hard expiry | TTL | Auto |
| Cold keep | S3 | Cheap |
| Mistake | PITR | Restore |
18. दहा oral drills
- TTL units?
- Instant?
- PITR window?
- GT conflict?
- Sticky?
- DAX vs?
- Cart PK?
- Lines PK?
- Follow SK?
- Unread GSI?
19. RPO / RTO mini workshop
- RPO minutes.
- RTO.
- Map tools.
- Drill.
- Owner.
20. Cost watch list
- Backup storage
- GT writes
- DAX idle
- Export/S3
- TTL→Streams
21. Project Definition of Done
- Patterns done.
- Samples.
- Lab hygiene.
- Condition/txn.
- Cleanup notes.
- Oral.
22. Batch आतील links
- TTL→Backup
- GT→hot
- DAX after model
- P1 reuse
- P2 reuse
23. Quick self-check
- TTL delay?
- Soft vs hard?
- PITR start?
- GT no?
- DAX≠key fix?
- Cart keys?
- Follow edge?
- Cleanup habit?
24. सामान्य errors आणि fixes
प्रत्येक row = खरी चूक. Panic करण्याआधी fix वाचा.
| Error / लक्षण | Fix |
|---|---|
| Trimmed | Scale |
| EOS myth | Idempotent |
| No delete | REMOVE |
| No DLQ | DLQ |
| Silent | Alarm |
| PII | Allow-list |
| No backfill | Export |
| Leave | Delete |
| Rewrite | Link |
25. Troubleshooting checklist
- Age.
- Version.
- Mapping.
- Bisect.
- Reconcile.
26. FAQ
प्र. Single table always?
Related patterns साठी हो; religion नाही.
प्र. RDS अजून?
Joins/SQL reports साठी हो — intro chapter.
प्र. Scan वाईट?
Hot path = Query/Get; Scan rare.
प्र. Put/Get कुठे?
CRUD/CLI/SDK chapters — link.
प्र. Serverless OS?
Ops choice.
प्र. No Lambda?
Possible.
प्र. Exactly?
Idempotent.
प्र. Huge?
Strip/S3.
27. Interview Q&A
प्र. Why OS?
Search.
प्र. View?
NEW_AND_OLD.
प्र. Idem?
Version.
प्र. Poison?
DLQ.
प्र. MNC
Backfill.
प्र. EOS
ALO+idem.
28. Tips — English, मराठी आणि हिंदी
Ravindra Bagale's Tip (EN)
CDC is at-least-once — make the consumer boring and idempotent.
Ravindra Bagale's Tip (MR)
CDC = at-least-once; consumer idempotent ठेवा.
Tip (HI)
CDC कम-से-कम एक बार — consumer idempotent रखें।
घरी करून बघा
- Fields.
- Diagram.
- Alarm.
थोडक्यात सांगायचं तर
- Pipe.
- Mutations.
- Ops.
- Cleanup.
उजळणी, मुलाखत आणि तुलना cards
हा lesson काही मिनिटांत revise करा. Cards phone वर save करा किंवा PNG download करा. प्रत्येक card वरचा QR हा lesson उघडतो.








अजून cards: Ravi Sir's Cards.
सराव Tasks
Milan Furniture हा मिलान मधला फर्निचर व्यवसाय आहे. Giulia Rossi त्यांचं IT व cloud काम पाहतात. त्यांचे पैसे EUR मध्ये मोजले जातात आणि AWS resources eu-south-1 Region मध्ये चालतात. खालच्या tasks मध्ये तुम्ही या lesson मध्ये शिकलेलं वापरून त्यांची खरी कामं करता. सगळी नावं, account IDs, IP addresses व numbers सरावासाठी काल्पनिक आहेत.
0 / 16
सोपं Why OS
का: Search.
काय करायचं: Full-text तर 1.
- Task मधले numbers लिहून घ्या.
- कागदावर step by step काढा.
- Box मध्ये फक्त final उत्तर लिहा.
- Check answer दाबा.
सोपं View
का: Stream.
काय करायचं: NEW_AND_OLD तर 1.
- Task मधले numbers लिहून घ्या.
- कागदावर step by step काढा.
- Box मध्ये फक्त final उत्तर लिहा.
- Check answer दाबा.
सोपं ALO
का: CDC.
काय करायचं: ALO तर 1.
- Task मधले numbers लिहून घ्या.
- कागदावर step by step काढा.
- Box मध्ये फक्त final उत्तर लिहा.
- Check answer दाबा.
सोपं REMOVE
का: Sync.
काय करायचं: REMOVE delete तर 1.
- Task मधले numbers लिहून घ्या.
- कागदावर step by step काढा.
- Box मध्ये फक्त final उत्तर लिहा.
- Check answer दाबा.
सोपं Describe
का: CLI.
काय करायचं: describe.
- Task वाचा आणि ते कोणत्या AWS service बद्दल आहे ते ठरवा.
- aws लिहा, मग service चं नाव, मग operation (action शब्द).
- प्रत्येक आवश्यक flag (--name) व त्यापुढे task मधली value लिहा.
- Flags कोणत्याही क्रमाने चालतात. Check answer दाबा.
सोपं Pipe
का: Arch.
काय करायचं: keys.
- Task मधल्या top-level keys पासून सुरू करा.
- Child keys 2 spaces ने indent करा (tabs नकोत).
- प्रत्येक property मध्ये task मधली value भरा.
- Check answer दाबा. Keys चा क्रम महत्त्वाचा नाही.
सोपं _id
का: Map.
काय करायचं: PK|SK id तर 1.
- Task मधले numbers लिहून घ्या.
- कागदावर step by step काढा.
- Box मध्ये फक्त final उत्तर लिहा.
- Check answer दाबा.
मध्यम Idempotent
का: Safe.
काय करायचं: Idempotent तर 1.
- Task मधले numbers लिहून घ्या.
- कागदावर step by step काढा.
- Box मध्ये फक्त final उत्तर लिहा.
- Check answer दाबा.
मध्यम IteratorAge
का: Lag.
काय करायचं: IteratorAge तर 1.
- Task मधले numbers लिहून घ्या.
- कागदावर step by step काढा.
- Box मध्ये फक्त final उत्तर लिहा.
- Check answer दाबा.
मध्यम DLQ
का: Failure.
काय करायचं: DLQ तर 1.
- Task मधले numbers लिहून घ्या.
- कागदावर step by step काढा.
- Box मध्ये फक्त final उत्तर लिहा.
- Check answer दाबा.
मध्यम Backfill
का: History.
काय करायचं: Backfill तर 1.
- Task मधले numbers लिहून घ्या.
- कागदावर step by step काढा.
- Box मध्ये फक्त final उत्तर लिहा.
- Check answer दाबा.
मध्यम Ops
का: Alarms.
काय करायचं: keys.
- Task मधल्या top-level keys पासून सुरू करा.
- Child keys 2 spaces ने indent करा (tabs नकोत).
- प्रत्येक property मध्ये task मधली value भरा.
- Check answer दाबा. Keys चा क्रम महत्त्वाचा नाही.
अवघड PII
का: Safety.
काय करायचं: Allow-list तर 1.
- Task मधले numbers लिहून घ्या.
- कागदावर step by step काढा.
- Box मध्ये फक्त final उत्तर लिहा.
- Check answer दाबा.
अवघड EOS myth
का: Truth.
काय करायचं: ALO+idem तर 1.
- Task मधले numbers लिहून घ्या.
- कागदावर step by step काढा.
- Box मध्ये फक्त final उत्तर लिहा.
- Check answer दाबा.
अवघड Lab
का: Hygiene.
काय करायचं: Delete lab तर 1.
- Task मधले numbers लिहून घ्या.
- कागदावर step by step काढा.
- Box मध्ये फक्त final उत्तर लिहा.
- Check answer दाबा.
अवघड Link
का: Reuse.
काय करायचं: Link Streams तर 1.
- Task मधले numbers लिहून घ्या.
- कागदावर step by step काढा.
- Box मध्ये फक्त final उत्तर लिहा.
- Check answer दाबा.