अनेक EC2 Instances चे Logs CloudWatch Logs मध्ये कसे पाठवायचे (Agent, SSM, Logs Insights)

By Ravindra Bagale, trainer · LinkedIn · Last updated: 21 October 2026

1. गोष्ट: पाच servers, एक error

एक food-delivery app load balancer मागे 5 web servers वर चालतं. Customer सांगतो "8:14 PM ला payment fail झालं". त्याला कोणत्या server ने serve केलं? Central logs नसतील तर 5 servers मध्ये SSH करून 5 वेळा grep. Auto Scaling ने तो server आधीच terminate केला असेल तर त्याचे logs कायमचे गेले.

CloudWatch Logs सोबत, पाचही servers त्यांचे logs एका log group ला पाठवतात. एक query काही seconds मध्ये error शोधते, अगदी आता अस्तित्वात नसलेल्या server चा सुद्धा.

2. Log groups, streams आणि retention

हे का लागतं?

लाखो lines ना folders हवेत, नाहीतर काहीच सापडणार नाही. जुने logs पण पैसे खातात, म्हणून वेळेवर delete करायला हवेत.

हे काय आहे?

• Log event: वेळेसोबत एक line. उदा. एक nginx request.
• Log stream: एका source च्या सगळ्या lines. आपण प्रत्येक instance ला एक stream, instance ID च्या नावाने.
• Log group: एकाच प्रकारच्या streams चा folder. उदा. /app/nginx/access मध्ये सगळ्या web servers चे access logs.
• Retention: log group data किती दिवस ठेवतो. Default Never expire, ज्यामुळे bill कायम वाढत राहतं. Set करा, उदा. access logs ला 30 दिवस, audit logs ला 90 किंवा जास्त.

3. Step 1: IAM role

हे का लागतं?

Server वरच्या agent ने AWS ला सिद्ध करायला हवं की त्याला logs लिहायची परवानगी आहे. Servers वर access keys कधीच ठेवायच्या नाहीत: keys leak होतात. Role आपोआप short-lived keys देतो.

हे काय आहे?

CloudWatchAgentServerPolicy ही AWS managed policy आहे. ती agent ला metrics आणि logs पाठवायला (PutMetricData, CreateLogStream, PutLogEvents वगैरे) आणि Parameter Store मधून config वाचायला परवानगी देते. AmazonSSMManagedInstanceCore मुळे Systems Manager server manage करू शकतो (Step 5 मध्ये वापरू).

कसं करायचं (step by step)

1. IAM → Roles → Create role उघडा.
2. Trusted entity type: AWS service. Use case: EC2. Next.
3. CloudWatchAgentServerPolicy search करून tick करा.
4. AmazonSSMManagedInstanceCore search करून tick करा. Next.
5. Role name: EC2-CloudWatchAgent-Role. Create role.
6. EC2 → प्रत्येक server select करा → Actions → Security → Modify IAM role → EC2-CloudWatchAgent-Role निवडा → Update IAM role.
7. Server वर verify करा:

TOKEN=$(curl -s -X PUT http://169.254.169.254/latest/api/token -H "X-aws-ec2-metadata-token-ttl-seconds: 60")
curl -s -H "X-aws-ec2-metadata-token: $TOKEN" http://169.254.169.254/latest/meta-data/iam/info
# expected: "InstanceProfileArn" : "arn:aws:iam::...:instance-profile/EC2-CloudWatchAgent-Role"

4. Step 2: agent install करा (एक server)

1. web1 (Amazon Linux 2023) मध्ये SSH करा आणि logs मिळण्यासाठी nginx install करा:

sudo dnf install -y nginx amazon-cloudwatch-agent
sudo systemctl enable --now nginx
curl -s -o /dev/null -w "%{http_code}\n" http://localhost/   # expected: 200

Ubuntu वर: https://amazoncloudwatch-agent.s3.amazonaws.com/ubuntu/amd64/latest/amazon-cloudwatch-agent.deb download करा आणि sudo dpkg -i -E ./amazon-cloudwatch-agent.deb चालवा. Windows वर त्याच bucket मधला MSI वापरा.

5. Step 3: wizard ने configure करा

हे का लागतं?

Config file मध्ये खूप options असतात. Wizard सोपे प्रश्न विचारतो आणि तुमच्यासाठी बरोबर file लिहितो. पहिल्या server साठी छान.

कसं करायचं (step by step)

1. sudo /opt/aws/amazon-cloudwatch-agent/bin/amazon-cloudwatch-agent-config-wizard चालवा.
2. OS: linux. EC2 की on-premises: EC2. User: cwagent. cwagent का: agent root म्हणून चालू नये.
3. StatsD: no. CollectD: no. का: आपण ते वापरत नाही; collectd ला package पण लागतो, नाहीतर agent start होत नाही.
4. Host metrics monitor: yes. CPU per core: no. EC2 dimensions: yes. Aggregate: yes. Resolution: 60s. Level: Basic (mem आणि disk).
5. Existing config: no. Log files monitor: yes.
6. Log file path: /var/log/nginx/access.log. Log group: /app/nginx/access. Log group class: STANDARD. Stream name: {instance_id}. Retention: 30.
7. अजून एक: /var/log/nginx/error.log → /app/nginx/error, तेच stream name आणि retention. मग आणखी files no.
8. Config SSM Parameter Store मध्ये ठेवायचा: yes, नाव AmazonCloudWatch-linux. का: Step 5 मध्ये इतर servers तोच config download करू शकतात.
9. File /opt/aws/amazon-cloudwatch-agent/bin/config.json मध्ये save होते.

6. Step 4: JSON file समजून घ्या, आणि agent start करा

हाच config हाताने लिहिलेला. प्रत्येक भागाला कारण आहे:

{
  "agent": { "metrics_collection_interval": 60, "run_as_user": "cwagent" },
  "metrics": {
    "namespace": "CWAgent",
    "append_dimensions": { "InstanceId": "${aws:InstanceId}" },
    "metrics_collected": {
      "mem":  { "measurement": ["mem_used_percent"] },
      "disk": { "measurement": ["used_percent"], "resources": ["/"] }
    }
  },
  "logs": {
    "logs_collected": {
      "files": {
        "collect_list": [
          { "file_path": "/var/log/nginx/access.log",
            "log_group_name": "/app/nginx/access",
            "log_stream_name": "{instance_id}",
            "retention_in_days": 30 },
          { "file_path": "/var/log/nginx/error.log",
            "log_group_name": "/app/nginx/error",
            "log_stream_name": "{instance_id}",
            "retention_in_days": 30 }
        ]
      }
    }
  }
}

1. या file ने agent start करा:

sudo /opt/aws/amazon-cloudwatch-agent/bin/amazon-cloudwatch-agent-ctl \
  -a fetch-config -m ec2 -s \
  -c file:/opt/aws/amazon-cloudwatch-agent/bin/config.json
sudo /opt/aws/amazon-cloudwatch-agent/bin/amazon-cloudwatch-agent-ctl -a status
# expected: "status": "running"
# from Parameter Store instead of a file:  -c ssm:AmazonCloudWatch-linux
tail -n 20 /opt/aws/amazon-cloudwatch-agent/logs/amazon-cloudwatch-agent.log   # look for errors

2. थोडं traffic करा: for i in $(seq 1 50); do curl -s -o /dev/null http://localhost/; curl -s -o /dev/null http://localhost/nope; done.
3. Verify: CloudWatch → Log groups → /app/nginx/access → i-0abc… सारख्या नावाचा stream, त्यात तुमच्या requests (200 आणि 404).
4. Metrics verify: CloudWatch → Metrics → CWAgent → InstanceId → mem_used_percent.

इतर stacks साठी entries (collect_list मध्ये जोडा):

{ "file_path": "/home/ec2-user/.pm2/logs/*-out.log", "log_group_name": "/app/node",   "log_stream_name": "{instance_id}", "retention_in_days": 14 },
{ "file_path": "/opt/app/logs/spring.log",           "log_group_name": "/app/java",   "log_stream_name": "{instance_id}", "retention_in_days": 30,
  "multi_line_start_pattern": "^\\d{4}-\\d{2}-\\d{2}" },
{ "file_path": "/var/log/gunicorn/error.log",        "log_group_name": "/app/python", "log_stream_name": "{instance_id}", "retention_in_days": 30 },
{ "file_path": "/var/log/httpd/access_log",          "log_group_name": "/app/httpd/access", "log_stream_name": "{instance_id}", "retention_in_days": 30 }

Java साठी multi_line_start_pattern का: Java stack trace 30 lines चा असतो. याशिवाय प्रत्येक line वेगळा event होतो आणि error वाचायला कठीण जातो. यामुळे date ने सुरू होणाऱ्या line वरच नवीन event सुरू होतो.

7. Step 5: Systems Manager ने अनेक servers

हे का लागतं?

20 servers वर SSH ने Steps 2-4 करणं slow आहे आणि प्रत्येक server थोडा वेगळा होऊ शकतो. Systems Manager (SSM) तीच command सगळ्यांवर चालवतो, SSH शिवाय आणि port 22 उघडा न ठेवता.

कसं करायचं (step by step)

1. प्रत्येक server ला EC2-CloudWatchAgent-Role role (Step 1) आणि Role = web tag द्या.
2. Systems Manager → Fleet Manager उघडा. सगळे servers Online दिसायला हवेत. (Amazon Linux आणि Ubuntu AMIs वर SSM agent आधीच असतो; त्याला outbound HTTPS लागतं.)
3. Systems Manager → Run Command → Run command. Document: AWS-ConfigureAWSPackage.
4. Action: Install. Name: AmazonCloudWatchAgent. Version: latest.
5. Targets: Specify instance tags → Role = web. Tags का: नवीन web servers command न बदलता यात येतात.
6. Output options: lab साठी S3 untick. Run. Verify: प्रत्येक target Success दाखवतो.
7. पुन्हा Run command. Document: AmazonCloudWatch-ManageAgent. Action configure, Mode ec2, Optional Configuration Source ssm, Optional Configuration Location AmazonCloudWatch-linux, Optional Restart yes. तोच tag target. Run.
8. Verify: /app/nginx/access log group मध्ये आता प्रत्येक server चा एक stream आहे.

हेच CLI ने:

aws ssm put-parameter --name AmazonCloudWatch-linux --type String --overwrite \
  --value file://config.json
aws ssm send-command --document-name AWS-ConfigureAWSPackage \
  --targets Key=tag:Role,Values=web \
  --parameters '{"action":["Install"],"name":["AmazonCloudWatchAgent"]}'
aws ssm send-command --document-name AmazonCloudWatch-ManageAgent \
  --targets Key=tag:Role,Values=web \
  --parameters '{"action":["configure"],"mode":["ec2"],"optionalConfigurationSource":["ssm"],"optionalConfigurationLocation":["AmazonCloudWatch-linux"],"optionalRestart":["yes"]}'
aws logs describe-log-streams --log-group-name /app/nginx/access --query 'logStreams[].logStreamName'
# expected: ["i-0aaa...", "i-0bbb...", "i-0ccc..."]

8. Step 6: retention

1. CloudWatch → Log groups → /app/nginx/access tick → Actions → Edit retention setting(s) → 1 month (30 days) → Save.
2. CLI: aws logs put-retention-policy --log-group-name /app/nginx/error --retention-in-days 30.
3. Verify: Retention column मध्ये Never expire ऐवजी 1 month दिसतं.

9. Step 7: Logs Insights ने सगळं शोधा

हे का लागतं?

Streams मधून scroll करणं slow आहे. Logs Insights ही छोटी query language आहे जी एक किंवा अनेक log groups चे सगळे streams एकाच वेळी शोधते.

कसं करायचं (step by step)

1. CloudWatch → Logs Insights. Log group /app/nginx/access select करा. Time range: 1h.
2. खालची query paste करा आणि Run query करा. सगळ्यात सोप्यापासून सुरू करा.

# 1. latest 20 lines from all servers
fields @timestamp, @logStream, @message
| sort @timestamp desc
| limit 20

# 2. only 404 and 5xx lines
fields @timestamp, @logStream, @message
| filter @message like / 404 / or @message like / 50[0-9] /
| sort @timestamp desc

# 3. requests per server (which server gets the most?)
stats count(*) as requests by @logStream
| sort requests desc

# 4. errors per 5 minutes, ready for a graph
filter @message like / 50[0-9] /
| stats count(*) as errors by bin(5m)

# 5. top client IPs (nginx combined format: IP is the first word)
parse @message "* - * [*] \"* * *\" * *" as ip, user, time, method, path, proto, status, bytes
| stats count(*) as hits by ip
| sort hits desc
| limit 10

Verify: query 3 प्रत्येक instance ID ची एक row दाखवते, query 2 तुम्ही बनवलेल्या /nope च्या 404 lines दाखवते.

Bonus: logs मधल्या errors वर alarm (metric filter)

1. Log group /app/nginx/access → Actions → Create metric filter.
2. Filter pattern: [ip, id, user, ts, request, status=5*, size]. Test करा, Next.
3. Filter name nginx-5xx, namespace App/Web, metric name Nginx5xx, value 1, default value 0. Create.
4. App/Web Nginx5xx वर alarm, statistic Sum, 5 minutes, > 10, SNS ops-alerts.

10. Cleanup

1. /app/nginx/access आणि /app/nginx/error log groups delete करा (Actions → Delete log group(s)).
2. Metric filter alarm आणि parameter delete करा: aws ssm delete-parameter --name AmazonCloudWatch-linux.
3. Agent stop करा (amazon-cloudwatch-agent-ctl -a stop) किंवा servers terminate करा. का: agent custom metrics पाठवत राहतो, त्यांचं billing होतं.

11. Interview questions

उजळणी, तुलना आणि मुलाखत cards

हा lesson काही मिनिटांत revise करा. Cards phone वर save करा किंवा PNG download करा. प्रत्येक card वरचा QR हा lesson उघडतो.

अजून cards: Ravi Sir's Cards.