MongoDB监控分片集群的操作方法_mongodb

监控mongodb分片集群是确保系统性能、稳定性和可扩展性的关键。可以通过各种工具和方法来监控mongodb分片集群的健康状态、性能指标和资源使用情况。以下是一些常用的监控方法和工具，并结合代码示例来展示如何实现监控。

常用监控方法和工具

mongodb自身的监控工具：
- mongodb监控命令：如db.stats()、sh.status()等。
- mongodb cloud manager 和 ops manager：官方提供的监控和备份解决方案。
- mongodb atlas：一种数据库即服务（dbaas）解决方案，包含内置的监控和告警功能。
开源监控工具：
- prometheus + grafana：组合使用来收集和展示mongodb性能指标。
- elastic stack（elk）：elasticsearch、logstash和kibana，用于日志分析和监控。
第三方服务：
- new relic、datadog：提供综合的监控解决方案，支持mongodb的性能监控。

配置和使用mongodb监控命令

使用db.stats()获取数据库统计信息

use mydatabase;
var stats = db.stats();
printjson(stats);

使用sh.status()查看分片状态

sh.status();

使用prometheus和grafana进行监控

1. 安装并配置prometheus mongodb exporter

prometheus mongodb exporter是一个收集mongodb性能指标的工具。

安装mongodb exporter：

wget https://github.com/percona/mongodb_exporter/releases/download/v0.20.4/mongodb_exporter-0.20.4.linux-amd64.tar.gz
tar -xzf mongodb_exporter-0.20.4.linux-amd64.tar.gz
cd mongodb_exporter-0.20.4.linux-amd64
./mongodb_exporter --mongodb.uri "mongodb://localhost:27017"

配置prometheus：

编辑prometheus的配置文件prometheus.yml：

scrape_configs:
  - job_name: 'mongodb'
    static_configs:
    - targets: ['localhost:9216']

启动prometheus：

./prometheus --config.file=prometheus.yml

2. 配置grafana

安装grafana：

# for debian/ubuntu
sudo apt-get install -y software-properties-common
sudo add-apt-repository "deb https://packages.grafana.com/oss/deb stable main"
sudo apt-get update
sudo apt-get install grafana
# start grafana
sudo systemctl start grafana-server
sudo systemctl enable grafana-server

配置数据源：

访问grafana: http://localhost:3000
登录默认账户（admin/admin）。
添加prometheus作为数据源（settings -> data sources -> add data source -> prometheus）。

创建仪表盘：

添加新的仪表盘（dashboards -> new dashboard）。
添加一个面板（add panel），选择prometheus作为数据源，并输入查询语句，如：

sum(rate(mongodb_opcounters_insert_total[5m])) by (instance)

使用elastic stack（elk）进行监控

1. 安装elasticsearch、logstash和kibana

以ubuntu为例：

# install elasticsearch
wget -qo - https://artifacts.elastic.co/gpg-key-elasticsearch | sudo apt-key add -
sudo apt-get install apt-transport-https
echo "deb https://artifacts.elastic.co/packages/7.x/apt stable main" | sudo tee -a /etc/apt/sources.list.d/elastic-7.x.list
sudo apt-get update && sudo apt-get install elasticsearch
sudo systemctl start elasticsearch
sudo systemctl enable elasticsearch
# install logstash
sudo apt-get install logstash
sudo systemctl start logstash
sudo systemctl enable logstash
# install kibana
sudo apt-get install kibana
sudo systemctl start kibana
sudo systemctl enable kibana

2. 配置mongodb日志收集

编辑logstash配置文件/etc/logstash/conf.d/mongodb.conf：

input {
  file {
    path => "/var/log/mongodb/mongod.log"
    start_position => "beginning"
    type => "mongodb"
  }
}
filter {
  if [type] == "mongodb" {
    grok {
      match => { "message" => "%{timestamp_iso8601:timestamp} %{loglevel:loglevel} %{greedydata:message}" }
    }
    date {
      match => [ "timestamp", "iso8601" ]
    }
  }
}
output {
  elasticsearch {
    hosts => ["localhost:9200"]
  }
  stdout { codec => rubydebug }
}

启动logstash：