Cloud Foundry中syslog_aggregator的实现分析

在Cloud Foundry中,用来收集Cloud Foundry各组件日志信息的组件,名为syslog_aggregator。

syslog_aggregator可以做到方便的收集Cloud Foundry中所有组件的日志信息,并将这些信息进行初步处理,比如说:将不同月份产生的日志,进行分类存储;另外还对同一月份内产生的日志,将其通过不同的日期进行分类。这样的话,当Cloud Foundry平台的开发者,在运营该平台时需要查看Cloud Foundry中某一个组件产生的日志时,可以方便的查找到对应日期的日志。syslog_aggregator除了可以对日志进行分组件,分月份,分日期进行存储外,还提供一些对日志进行打包或剪枝的功能,比如:syslog_aggregator会将一定期限内的日志,进行压缩,以达到节省存储空间的功能;另外syslog_aggregator还会定期对日志进行清除,比如只保存一定期限时间长度的日志,当日志超过该时限,syslog_aggregator会将其清除。

以下是对syslog_aggregator实现的简单分析:

syslog_aggregator组件主要包括monit模块,日志管理模块。

monit模块

monit模块主要是实现:监控syslog_aggregator组件的运行状态,一旦监控过syslog_aggregator组件中该进程不存活时,即刻重启该进程;另外,syslog_aggregator组件还将自身的信息通过cloud_agent传送给NATS,这里的信息包括syslog_aggregator组件所在的宿主机的存活状态以及资源使用情况。

以下通过monit监控进程的代码: [plain] view plaincopy在CODE上查看代码片派生到我的代码片

该段代码中清晰的标明了进程的pid,进程的start命令以及stop命令。

cloud_agent作为BOSH监控Cloud Foundry组件级信息的辅助工具,负责收集syslog_aggregator组件所在宿主机的运行状态以及资源使用情况,并发送给health_monitor,由health_monitor统一管理。由于cloud_agent不是本文的重点,所以本文不再赘述。

日志管理模块

实现日志管理,syslog_aggregator是通过启动syslog_aggregator_ctl脚本来实现的。上文中提到的monit模块中,也正是监控这个脚本命令启动的进程。以下来分析一下该脚本的代码实现:

[plain] view plaincopy在CODE上查看代码片派生到我的代码片

在通过该脚本来实现启动syslog_aggregator进程的时候,使用的是start命令。进入start命令,可以看到,安装了rsyslog-relp;然后通过/var/vcap/packages/common/utils.sh中定义的pid_guard()方法来实现对该进程pid的保护,当系统中已经由相应的进程以该pid在运行时,删除该进程,以保证syslog_aggregator可以按预先设置的pid进行运行;随后创建几个定义好的目录,RUN_DIR,LOG_DIR,还对LOG_DIR进行拥有用户修改。

脚本中随后的5行代码,涉及到的是Linux操作系统中cron 定期任务删除与添加的实现:

[plain] view plaincopy在CODE上查看代码片派生到我的代码片

首先在每日的执行任务中删除掉bzip_old_logs任务,如果该任务存在的话;随后将4个任务分别加入到了指定的目录位置,分别是:gzip_old_logs, reap_old_logs, symlink_logs, send_error_mail。也就是让Linux操作系统每天一次执行gzip_old_logs脚本,每小时执行一次reap_old_logs脚本,每小时执行一次symlink_logs脚本,每周一次执行一次send_error_mail脚本。 添加完这些定义任务之后,syslog_aggregator随后启动了rsyslog server,实现日志服务器的启动:

[plain] view plaincopy在CODE上查看代码片派生到我的代码片

启动rsyslog server的具体配置可以参看rsyslogd.conf的各参数:

[plain] view plaincopy在CODE上查看代码片派生到我的代码片

当然有server的话,自然会accept来自client的请求,所以在Cloud Foundry中每个组件都会安装一个resyslog的client端,然后启动该client,连接rsyslog server,并发送日志请求,以此来实现日志的传输,又通过刚才涉及到的那些脚本实现对日志的管理。

以下分析添加到周期性任务中的脚本功能。

1.gzip_old_logs

该脚本的实现很简单,如下:

[plain] view plaincopy在CODE上查看代码片派生到我的代码片

功能为找到/var/vcap/store/log目录下,1440分钟(24小时)内没有被修改的文件,然后进行压缩操作。

2.symlink_logs

该脚本实现的是:为每一个当天的创建出来的文件创建符号链接,date + %Y执行结果为执行时的年份,依此类推。代码如下:

[plain] view plaincopy在CODE上查看代码片派生到我的代码片

3.reap_old_logs

该脚本实现的是:清除保存已超过7天的日志。代码如下:

[plain] view plaincopy在CODE上查看代码片派生到我的代码片

其中,EGREP_FORMAT_DAYS_TO_EXCLUDE是为了获取一个通过‘|’字符串联起来的字符串,随后实现对指定路径进行清除。

以上便是对Cloud Foundry中syslog_aggregator的简单分析。

浙江大学SEL实验室是本网站上所有页面设计、页面内容的著作权人,对该网站所载的作品,包括但不限于网站所载的文字、数据、图形、照片、有声文件、动画文件、音视频资料等拥有完整的版权,受著作权法保护。严禁任何媒体、网站、个人或组织以任何形式或出于任何目的在未经本实验室书面授权的情況下抄袭、转载、摘编、修改本网站內容,或链接、转帖或以其他方式复制用于商业目的或发行,或稍作修改后在其它网站上使用,前述行为均将构成对本网站版权之侵犯,本网站將依法追究其法律责任。
本网站与他人另有协议授权下载的或法律另有规定的,在下载使用时必须注明“稿件来源:浙江大学SEL实验室”。

Leave a Reply

Your email address will not be published. Required fields are marked *