影雀丨个人博客站点

influxdb+grafana搭建监控系统

发布时间丨2022-05-31 20:57:53作者丨zhaomeng浏览丨16

监控系统的搭建是爬虫和数据统计中最为重要的一个环节,对于维护爬虫和统计爬虫的数据是不可或缺的.我们通重都需要统计爬虫的采集及运行的一些数据，需要将数据存储到时间序列的数据库以及使用可视化的工具显示出来就可以观察当前的爬虫的运行的状态，还可以以时间序列记录采集的数据量。本篇博文以influxdb+grafana结合的方式开发一套数据监控系统,最终的可视化界面如下图：

下面来详细的介绍下配置的过程：

首先需要安装influxdb及grafana:

1.docker 安装influxdb1.8

docker pull influxdb:1.8  # 拉取镜像
#  创建容器并设置帐号密码
docker run -p 8086:8086 --name influxdb  --restart unless-stopped  -e DOCKER_INFLUXDB_INIT_USERNAME=admin  -e DOCKER_INFLUXDB_INIT_PASSWORD=admin@123   -v /etc/localtime:/etc/localtime    -d influxdb:1.8
# 创建好的admin用户
# username:admin
# password:admin@123
docker exec -it influxdb bash  # 进入容器
influx  # 进入influxdbu数据库
create user "root" with password '123456' with all privileges  # 创建root用户
# 开启admin认证
docker exec -it influxdb bash  # i再次进入容器
#打开配置文件
#没有vim的话 安装 apt update apt-get install vim
# 进入配置文件,修改配置信息
cd etc/influxdb/
vim influxdb.conf
# 开启admin认证 ， 不开启会导致没有密码或者密码随便填也能登录，没有[http] 在文件里面添加就好
[http]
  auth-enabled = true
#保存修改(vim的操作)
# 重启influxdbq容器
docker restart influxdb 
# 修改密码
docker exec -it influxdb bash  # i再次进入容器
# 进入时序数据库
influx
# 显示用户
SHOW USERS
要是报错：
ERR: unable to parse authentication credentials
Warning: It is possible this error is due to not setting a database.
Please set a database with the command “use ”.
简单粗暴先把admin认证关闭(15-20行操作)
[http]
  auth-enabled = false
# 重启i容器
docker restart influxdb 
# 显示用户
SHOW USERS
# 修改密码
SET PASSWORD FOR root = '123456'
# 再打开admin认证
[http]
  auth-enabled = true
# 重启时序数据库
docker restart influxdb

2.docker 安装grafana

# 查看可用image
docker search grafana
# 拉取grafana镜像
docker pull grafana/grafana
# 运行grafana
docker run -d -p 3000:3000 --name=grafana grafana/grafana
登录web：http://127.0.0.1:3000/login 初始登录参数：admin/admin

最后向数据库influxdb中写入数据再对接grafana可视化配置.

首先就是需要确认使用的数据源为influxdb,并配置grafana的链接Data sources：