图文结合丨Prometheus+Grafana+GreatSQL性能监控系统搭建指南(上)

bashendan

发布于 2023-11-30 10:32

浏览

0收藏

三、使用Grafana

1. 添加Prometheus数据源

我们可以进入Grafana对监控的内容做一个图形的展示，登入http://172.17.137.104:3000/

图文结合丨Prometheus+Grafana+GreatSQL性能监控系统搭建指南(上)-鸿蒙开发者社区

输入默认用户名admin，默认密码admin，之后会提示你修改密码，然后就成功登入Grafana

图文结合丨Prometheus+Grafana+GreatSQL性能监控系统搭建指南(上)-鸿蒙开发者社区

进入后添加Prometheus的数据源，在Connections里有Data sources，总之找到Data sources即可

图文结合丨Prometheus+Grafana+GreatSQL性能监控系统搭建指南(上)-鸿蒙开发者社区

点击Add data source选择Prometheus，进入配置

图文结合丨Prometheus+Grafana+GreatSQL性能监控系统搭建指南(上)-鸿蒙开发者社区

在红框处填写Prometheus地址，因为本文部署在本机，所以是localhost，填写完成后滑动页面到最下方，点击Save & test保存和测试

2.导入Grafana仪表盘

下载Grafana仪表盘➥ https://grafana.com/grafana/dashboards/

图文结合丨Prometheus+Grafana+GreatSQL性能监控系统搭建指南(上)-鸿蒙开发者社区

红框框起来的就是我们需要下载的Node Exporter Full，如果首页没有展示的话，可以直接搜索

点击进去，选择Copy ID to clipboard复制ID

图文结合丨Prometheus+Grafana+GreatSQL性能监控系统搭建指南(上)-鸿蒙开发者社区

进入http://172.17.137.104:3000/到Grafana上，选择Dashboards，点击New

图文结合丨Prometheus+Grafana+GreatSQL性能监控系统搭建指南(上)-鸿蒙开发者社区

选择Import

图文结合丨Prometheus+Grafana+GreatSQL性能监控系统搭建指南(上)-鸿蒙开发者社区

在红框处粘贴刚刚复制的，其实也就是1860，接着点击LOAD加载

图文结合丨Prometheus+Grafana+GreatSQL性能监控系统搭建指南(上)-鸿蒙开发者社区

可以修改一下名字，在选择下Prometheus点击Import导入即可

图文结合丨Prometheus+Grafana+GreatSQL性能监控系统搭建指南(上)-鸿蒙开发者社区

这样就完成了Grafana对Prometheus数据的展示

四、监控GreatSQL

不建议采用GreatSQL的root用户监控，因为root的权限非常大，所以我们进入GreatSQL先创建一个用于监控的用户

greatsql> CREATE USER 'exporter'@'localhost' IDENTIFIED BY 'GreatSQL@666';
greatsql> GRANT PROCESS,REPLICATION CLIENT,SELECT ON *.* TO 'exporter'@'localhost';

接下来需要安装mysqld_exporter，本文依旧采用二进制方式安装

在https://prometheus.io/download/中找到mysqld_exporter，下载即可

$ wget https://github.com/prometheus/mysqld_exporter/releases/download/v0.15.0/mysqld_exporter-0.15.0.linux-amd64.tar.gz
#验证一下是否下载完整
$ sha256sum mysqld_exporter-0.15.0.linux-amd64.tar.gz
$ tar -xvf mysqld_exporter-0.15.0.linux-amd64.tar.gz

创建一个连接数据库的文件.mysqld_exporter.cnf

$ vi /usr/local/prometheus/mysqld_exporter-0.15.0.linux-amd64/.mysqld_exporter.cnf
#填入以下内容即可
[client]
user=exporter
password=GreatSQL@666
host=localhost
port=3306

创建 Systemd 服务

$ vi /lib/systemd/system/mysqld_exporter.service
[Unit]
Description=Prometheus GreatSQL
After=network.target

[Service]
Type=simple
User=root
Group=root
Restart=always
ExecStart=/usr/local/prometheus/mysqld_exporter-0.15.0.linux-amd64/mysqld_exporter \
  --config.my-cnf=/usr/local/prometheus/mysqld_exporter-0.15.0.linux-amd64/.mysqld_exporter.cnf \
  --collect.global_status \
  --collect.auto_increment.columns \
  --collect.info_schema.processlist \
  --collect.binlog_size \
  --collect.info_schema.tablestats \
  --collect.global_variables \
  --collect.info_schema.innodb_metrics \
  --collect.info_schema.query_response_time \
  --collect.info_schema.userstats \
  --collect.info_schema.tables \
  --collect.perf_schema.tablelocks \
  --collect.perf_schema.file_events \
  --collect.perf_schema.eventswaits \
  --collect.perf_schema.indexiowaits \
  --collect.perf_schema.tableiowaits \
  --collect.slave_status \
  --collect.perf_schema.replication_group_members \
  --collect.perf_schema.replication_group_member_stats \
  --web.listen-address=0.0.0.0:9104

[Install]
WantedBy=multi-user.target

通知 Systemd 重新加载配置文件

$ systemctl daemon-reload

启动alertmanager.service

$ systemctl start mysqld_exporter.service

若启动失败可自行排查journalctl -u mysqld_exporter.service -f

访问一下看看能否成功http://172.17.137.104:9104

1.添加Prometheus配置

安装完成后还需要添加Prometheus配置，为避免大家打错，这里采用追加写入

$ cat >> /usr/local/prometheus/prometheus-2.45.0.linux-amd64/prometheus.yml <<"EOF"
# mysqld-exporter配置
  - job_name: "mysqld-exporter"
    static_configs:
      - targets: ["localhost:9104"]
        labels:
          instance: prometheus服务器
EOF

重载Prometheus配置

$ curl -X POST http://localhost:9090/-/reload

Prometheus web上检查一下 http://172.17.137.104:9090/,点击Status->Targets

图文结合丨Prometheus+Grafana+GreatSQL性能监控系统搭建指南(上)-鸿蒙开发者社区

2.增加触发器配置文件

编辑prometheus.yml在rule_files:添加- "alert.yml"，前面缩进只需保留两格！

$ vi /usr/local/prometheus/prometheus-2.45.0.linux-amd64/prometheus.yml

# Load rules once and periodically evaluate them according to the global 'evaluation_interval'.
rule_files:
  - "alert.yml"
  - "rules/*.yml"  <-添加这里，注意缩进2格即可
  # - "first_rules.yml"
  # - "second_rules.yml"

表示把rules文件夹下的所有yml文件都导入进来

$ mkdir /usr/local/prometheus/prometheus-2.45.0.linux-amd64/rules
$ vi /usr/local/prometheus/prometheus-2.45.0.linux-amd64/rules/mysqld.yml
groups:
- name: GreatSQL
  rules:
  # 任何实例超过30s无法联系的情况发出告警
  - alert: GreatSQLDown
    expr: mysql_up == 0
    for: 30s
    labels:
      severity: critical
    annotations:
      summary: "GreatSQL Down,实例：{{ $labels.instance }}"
      description: "连接不上GreatSQL了，当前状态为：{{ $value }}"

类似的告警信息都可以自行编写

检查一下配置文件,出现SUCCESS: prometheus.yml is valid prometheus config file syntax即为成功

$ cd /usr/local/prometheus/prometheus-2.45.0.linux-amd64
$ ./promtool check config prometheus.yml
Checking prometheus.yml
  SUCCESS: 2 rule files found
 SUCCESS: prometheus.yml is valid prometheus config file syntax
Checking alert.yml
  SUCCESS: 1 rules found
Checking rules/mysqld.yml
  SUCCESS: 1 rules found

接下来重启一下 Prometheus 或重新加载配置文件

$ systemctl restart prometheus
# 二选一即可
$ curl -X POST http://localhost:9090/-/reload

再次访问http://172.17.137.104:9093/，并检查Status，确认没有问题

3.导入Grafana仪表盘

展示 Prometheus 从 mysql_exporter 收集到的数据，添加仪表盘ID7362

图文结合丨Prometheus+Grafana+GreatSQL性能监控系统搭建指南(上)-鸿蒙开发者社区

修改名称后点击Import即可

图文结合丨Prometheus+Grafana+GreatSQL性能监控系统搭建指南(上)-鸿蒙开发者社区

可以看到页面中已经展示了许多内容，例如GreatSQL数据库运行的时间，QPS值，InnoDB Buffer Pool Size，Buffer Poll of Total RAM等

这里Buffer Poll of Total RAM值有些低,说明设置的InnoDB buffer pool大小不对，应该设置约占用总内存的50%到75%，这样可以合理利用内存,提高缓存命中率。

来简单看几个监控项目的意义和内容

MySQL Connections，监控GreatSQL的连接数，有最大连接数及最大使用连接数
MySQL Client Thread Activity，监控GreatSQL的活动线程数，有连接线程数(Threads Connected)和运行线程数(Threads Running)
MySQL Table Locks，监控GreatSQL的表锁，我们可以看到GreatSQL从存储引擎请求了多少表级锁。在InnoDB的情况下，很多时候锁实际上可能是行锁，因为它只在少数特定情况下使用表级锁。比较“立即锁定”和“等待锁定”最有用。如果等待的锁数正在上升，则表示存在锁争用。否则，锁立即上升和下降是正常活动。

查看下QPS是如何监控的，鼠标移动到内容的右上角，会出现三个点，点击Edit，进入编辑

图文结合丨Prometheus+Grafana+GreatSQL性能监控系统搭建指南(上)-鸿蒙开发者社区