龚哥哥 - 山里男儿 爱生活、做自己!
Linux上排查IO使用过高的进程
发表于 2016-12-7 | 浏览(8396) | 服务器

iotop 命令

CentOS7以下使用yum安装
    yum -y install iotop
    iotop
CentOS7由于yum源没有包
    git clone git://repo.or.cz/iotop.git
        cd iotop
        python iotop.py

iostat 命令

iostat -x 1 10

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           5.48    0.00    1.24   10.22    4.28   78.78

Device:         rrqm/s   wrqm/s     r/s     w/s    rkB/s    wkB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
xvda              0.37     3.00   27.30    5.47   722.00   173.14    54.64     0.78   23.81    9.61   94.70   1.40   4.58
xvdb              0.00     0.00    0.32    0.00     2.19     0.00    13.75     0.00    5.39    5.30   31.00   2.73   0.09
xvdc              1.29    21.12  130.74   13.60  3575.35   175.45    51.97     2.97   20.55   21.01   16.15   4.78  69.03

%idle小于70% IO压力就较大了,一般读取速度有较多的%wait.
如果 %util 接近 100%,说明产生的I/O请求太多,I/O系统已经满负荷,该磁盘可能存在瓶颈。

dstat 命令

dstat --top-io -d --top-bio -l
dstat -t --top-io-adv -d -l

监控工具,根据系统类型选择脚本然后直接运行即可,以下是centos

centos下直接
  yum -y install nmon

其它linux系统可以下载包使用
wget http://sourceforge.net/projects/nmon/files/nmon_linux_14i.tar.gz
tar -zxvf http://sourceforge.net/projects/nmon/files/nmon_linux_14i.tar.gz
./nmon_x86_64_centos6

阅读全文

Nginx中判断是否手机访问
发表于 2016-11-23 | 浏览(7133) | 服务器

1、开源库

无论是PC还是手机,由于操作系统、浏览器的多样性,自己来实现这个判断并不容易不够准确。国外有一套开源的通过User-Agent区分PC和手机的解决方案,支持的语言较多(Apache ASP ASP.NET ColdFusion C# IIS JSP JavaScript jQuery Lasso nginx node.js PHP Perl Python Rails)

传送门:http://detectmobilebrowsers.com/

2、Nginx实例,在server中加入

set $mobile_rewrite do_not_perform;

if ($http_user_agent ~* "(android|bb\d+|meego).+mobile|avantgo|bada\/|blackberry|blazer|compal|elaine|fennec|hiptop|iemobile|ip(hone|od)|iris|kindle|lge |maemo|midp|mmp|mobile.+firefox|netfront|opera m(ob|in)i|palm( os)?|phone|p(ixi|re)\/|plucker|pocket|psp|series(4|6)0|symbian|treo|up\.(browser|link)|vodafone|wap|windows ce|xda|xiino") {
    set $mobile_rewrite perform;
}

if ($http_user_agent ~* "^(1207|6310|6590|3gso|4thp|50[1-6]i|770s|802s|a wa|abac|ac(er|oo|s\-)|ai(ko|rn)|al(av|ca|co)|amoi|an(ex|ny|yw)|aptu|ar(ch|go)|as(te|us)|attw|au(di|\-m|r |s )|avan|be(ck|ll|nq)|bi(lb|rd)|bl(ac|az)|br(e|v)w|bumb|bw\-(n|u)|c55\/|capi|ccwa|cdm\-|cell|chtm|cldc|cmd\-|co(mp|nd)|craw|da(it|ll|ng)|dbte|dc\-s|devi|dica|dmob|do(c|p)o|ds(12|\-d)|el(49|ai)|em(l2|ul)|er(ic|k0)|esl8|ez([4-7]0|os|wa|ze)|fetc|fly(\-|_)|g1 u|g560|gene|gf\-5|g\-mo|go(\.w|od)|gr(ad|un)|haie|hcit|hd\-(m|p|t)|hei\-|hi(pt|ta)|hp( i|ip)|hs\-c|ht(c(\-| |_|a|g|p|s|t)|tp)|hu(aw|tc)|i\-(20|go|ma)|i230|iac( |\-|\/)|ibro|idea|ig01|ikom|im1k|inno|ipaq|iris|ja(t|v)a|jbro|jemu|jigs|kddi|keji|kgt( |\/)|klon|kpt |kwc\-|kyo(c|k)|le(no|xi)|lg( g|\/(k|l|u)|50|54|\-[a-w])|libw|lynx|m1\-w|m3ga|m50\/|ma(te|ui|xo)|mc(01|21|ca)|m\-cr|me(rc|ri)|mi(o8|oa|ts)|mmef|mo(01|02|bi|de|do|t(\-| |o|v)|zz)|mt(50|p1|v )|mwbp|mywa|n10[0-2]|n20[2-3]|n30(0|2)|n50(0|2|5)|n7(0(0|1)|10)|ne((c|m)\-|on|tf|wf|wg|wt)|nok(6|i)|nzph|o2im|op(ti|wv)|oran|owg1|p800|pan(a|d|t)|pdxg|pg(13|\-([1-8]|c))|phil|pire|pl(ay|uc)|pn\-2|po(ck|rt|se)|prox|psio|pt\-g|qa\-a|qc(07|12|21|32|60|\-[2-7]|i\-)|qtek|r380|r600|raks|rim9|ro(ve|zo)|s55\/|sa(ge|ma|mm|ms|ny|va)|sc(01|h\-|oo|p\-)|sdk\/|se(c(\-|0|1)|47|mc|nd|ri)|sgh\-|shar|sie(\-|m)|sk\-0|sl(45|id)|sm(al|ar|b3|it|t5)|so(ft|ny)|sp(01|h\-|v\-|v )|sy(01|mb)|t2(18|50)|t6(00|10|18)|ta(gt|lk)|tcl\-|tdg\-|tel(i|m)|tim\-|t\-mo|to(pl|sh)|ts(70|m\-|m3|m5)|tx\-9|up(\.b|g1|si)|utst|v400|v750|veri|vi(rg|te)|vk(40|5[0-3]|\-v)|vm40|voda|vulc|vx(52|53|60|61|70|80|81|83|85|98)|w3c(\-| )|webc|whit|wi(g |nc|nw)|wmlb|wonu|x700|yas\-|your|zeto|zte\-)") {
    set $mobile_rewrite perform;
}

if ($mobile_rewrite = perform) {
    rewrite ^(.*) http://h5.gong.gg$1 redirect;
    break;
}

阅读全文

Linux磁盘使用量监控
发表于 2016-11-2 | 浏览(6771) | 服务器

Linux中使用crontab定时运行脚本即可。添加文件 vim disk.sh

#!/bin/bash

#@desc:服务器磁盘使用量报警脚本
#@author:Devil
#@blog:http://gong.gg/
#@date:2016-11-02

# 获取磁盘使用量
list=`df -h | awk 'NR==2,NR==$NF{print int(substr($5,0,length($5)-1));}'`

# 计算磁盘超过比例的值
server='博客'
max=95
count=0
for i in $list
do
    if [ $i -ge $max ]
    then
        let count++
    fi
done

# 邮件通知
if [ $count -gt 0 ]
then
    echo "亲^_^!您的[${server}]服务器有${count}块磁盘使用超过${max}%,请尽快处理哦~" | mail -v -s '服务器磁盘使用量报警' xxx[at]gongfuxiang.com
fi

邮件发送方法,搜索本博客中的文章

阅读全文

Linux内核参数优化
发表于 2016-10-16 | 浏览(8911) | 服务器

1、修改   vim /etc/sysctl.conf   文件

# 值为0,说明禁止进行IP转发;如果是1,则说明IP转发功能已经打开
net.ipv4.ip_forward = 0

# 多网卡接收多播
net.ipv4.conf.default.rp_filter = 1
net.ipv4.conf.default.accept_source_route = 0

# 验证设置
kernel.sysrq = 0
kernel.core_uses_pid = 1

# 开启SYN Cookies,当出现SYN 等待队列溢出时,启用cookies 来处理
net.ipv4.tcp_syncookies = 1

# 确定一个消息队列的容量。该参数的取值存储在消息队列标识符结构的某个域中,用于确定是否存在着对新消息进行排队的空间。msgmnb 值可以动态修改,默认为16384。修改其取值会影响到所有新的消息队列的容量。用户可以通过 Msgctl()系统调用来增加现有消息队列的容量
kernel.msgmnb = 65536

# 限制进程可以发送的消息长度。该参数由 Msgsnd()函数加以应用。如果待发送消息的长度超过该值,则返回一个错误。该参数可以在运行时调整
kernel.msgmax = 65536

# 最大共享内存段大小。取物理内存大小的一半,单位为字节(此处为8G)
kernel.shmmax = 8589934592

# 整个系统共享内存段的最大数目
kernel.shmmni = 4096

# 可以使用的共享内存的总量
kernel.shmall = 4294967296

# 每个信号对象集的最大信号对象数;系统范围内最大信号对象数;每个信号对象支持的最大操作数;系统范围内最大信号对象集数
kernel.sem = 250 32000 100 128

# timewait 的数量,默认是180000
net.ipv4.tcp_max_tw_buckets = 204800

# web 应用中listen 函数的backlog 默认会给我们内核参数的net.core.somaxconn 限制到128,而nginx 定义的NGX_LISTEN_BACKLOG 默认为511,所以有必要调整这个值
net.core.somaxconn = 262144

# 该参数标识是否启用选择性确认SACKS选项。默认值为1(true)
net.ipv4.tcp_sack = 1

# 设置tcp/ip会话的滑动窗口大小是否可变。参数值为布尔值,为1时表示可变,为0时表示不可变。tcp/ip通常使用的窗口最大可达到 65535 字节,对于高速网络,该值可能太小,这时候如果启用了该功能,可以使tcp/ip滑动窗口大小增大数个数量级,从而提高数据传输的能力
net.ipv4.tcp_window_scaling = 1

# tcp_rmem:min表示为TCP socket预留用于接收缓冲的最小内存数量,default为TCP socket预留用于接收缓冲的缺省内存数量,max用于TCP socket接收缓冲的内存最大值
net.ipv4.tcp_rmem = 4096 87380 4194304

# tcp_wmem:min表示为TCP socket预留用于发送缓冲的内存最小值,default为TCP socket预留用于发送缓冲的缺省内存值,max用于TCP socket发送缓冲的内存最大值
net.ipv4.tcp_wmem = 4096 16384 4194304

# 系统套接字写默认缓冲区
net.core.wmem_default = 8388608

# 系统套接字读默认缓冲区
net.core.rmem_default = 8388608

# 系统套接字读最大缓冲区
net.core.rmem_max = 16777216

# 系统套接字写最大缓冲区
net.core.wmem_max = 16777216

# 每个网络接口接收数据包的速率比内核处理这些包的速率快时,允许送到队列的数据包的最大数目
net.core.netdev_max_backlog = 262144

# 统中最多有多少个TCP 套接字不被关联到任何一个用户文件句柄上。如果超过这个数字,孤儿连接将即刻被复位并打印出警告信息。这个限制仅仅是为了防止简单的DoS 攻击,不能过分依靠它或者人为地减小这个值,更应该增加这个值(如果增加了内存之后)
net.ipv4.tcp_max_orphans = 3276800

# 记录的那些尚未收到客户端确认信息的连接请求的最大值。对于有128M 内存的系统而言,缺省值是1024,小内存的系统则是128
net.ipv4.tcp_max_syn_backlog = 262144

# 时间戳可以避免序列号的卷绕。一个1Gbps 的链路肯定会遇到以前用过的序列号。时间戳能够让内核接受这种“异常”的数据包。这里需要将其关掉
net.ipv4.tcp_timestamps = 0

# 为了打开对端的连接,内核需要发送一个SYN 并附带一个回应前面一个SYN 的ACK。也就是所谓三次握手中的第二次握手。这个设置决定了内核放弃连接之前发送SYN+ACK 包的数量
net.ipv4.tcp_synack_retries = 1

# 在内核放弃建立连接之前发送SYN 包的数量
net.ipv4.tcp_syn_retries = 1

# 启用timewait 快速回收
net.ipv4.tcp_tw_recycle = 1

# 开启重用。允许将TIME-WAIT sockets 重新用于新的TCP 连接
net.ipv4.tcp_tw_reuse = 1

# 确定 TCP 栈应该如何反映内存使用;每个值的单位都是内存页(通常是 4KB)
net.ipv4.tcp_mem = 94500000 915000000 927000000

# 如果套接字由本端要求关闭,这个参数决定了它保持在FIN-WAIT-2 状态的时间。对端可以出错并永远不关闭连接,甚至意外当机。缺省值是60 秒。2.2 内核的通常值是180 秒,3你可以按这个设置,但要记住的是,即使你的机器是一个轻载的WEB 服务器,也有因为大量的死套接字而内存溢出的风险,FIN- WAIT-2 的危险性比FIN-WAIT-1 要小,因为它最多只能吃掉1.5K 内存,但是它们的生存期长些
net.ipv4.tcp_fin_timeout = 15

# 当keepalive 起用的时候,TCP 发送keepalive 消息的频度。缺省是2 小时
net.ipv4.tcp_keepalive_time = 15

# 允许系统打开的端口范围
net.ipv4.ip_local_port_range = 1024 65000

# 系统中所允许的文件句柄最大数目
fs.file-max = 204800

1.1、让参数生效

/sbin/sysctl -p

2、修改文件句柄数量,修改   vim /etc/security/limits.conf

* soft nofile 204800
* hard nofile 204800

2.1、重启生效,查看参数

ulimit -a

阅读全文

CentOS下使用Ansible自动部署
发表于 2016-10-16 | 浏览(10206) | 服务器

一、服务器准备

Master        10.0.82.55
Node1       10.0.82.56
Node2       10.0.82.37

二、配置Master SSH免密码登录节点服务器

具体方法,搜索本博客中的文章

三、Master安装Ansible服务

1、yum安装

yum -y install ansible

2、配置文件   vim /etc/ansible/hosts 添加node的ip

10.0.82.56
10.0.82.37

# 可以分组 如:
[web]
10.0.82.56

[db]
10.0.82.37

四、测试

1、在远程服务器根目录创建hello目录

ansible all -a "mkdir /hello"

运行结果
10.0.82.37 | SUCCESS | rc=0 >>
10.0.82.56 | SUCCESS | rc=0 >>

2、把Master本地文件拷贝到远程服务器

ansible all -m copy -a "src=/data/www/test.txt dest=/data/www"

报错了
10.0.82.56 | FAILED! => {
    "changed": false, 
    "checksum": "da39a3ee5e6b4b0d3255bfef95601890afd80709", 
    "failed": true, 
    "msg": "Aborting, target uses selinux but python bindings (libselinux-python) aren't installed!"

解决方案(如果受控机开启SELinux,则必须在受控机上安装libselinux-python)
ansible all -k -m yum -a "name=libselinux-python state=installed"

再次运行 ansible all -m copy -a "src=/data/www/test.txt dest=/data/www"

运行结果
10.0.82.37 | SUCCESS => {
    "changed": true, 
    "checksum": "da39a3ee5e6b4b0d3255bfef95601890afd80709", 
    "dest": "/data/www/test.txt", 
    "gid": 0, 
    "group": "root", 
    "md5sum": "d41d8cd98f00b204e9800998ecf8427e", 
    "mode": "0644", 
    "owner": "root", 
    "size": 0, 
    "src": "/root/.ansible/tmp/ansible-tmp-1476215949.6-127742282482280/source", 
    "state": "file", 
    "uid": 0
}
10.0.82.56 | SUCCESS => {
    "changed": true, 
    "checksum": "da39a3ee5e6b4b0d3255bfef95601890afd80709", 
    "dest": "/data/www/test.txt", 
    "gid": 0, 
    "group": "root", 
    "md5sum": "d41d8cd98f00b204e9800998ecf8427e", 
    "mode": "0644", 
    "owner": "root", 
    "secontext": "system_u:object_r:default_t:s0", 
    "size": 0, 
    "src": "/root/.ansible/tmp/ansible-tmp-1476215949.96-237849415762054/source", 
    "state": "file", 
    "uid": 0
}

3、查看节点服务器的某个进程

ansible all -m shell -a "ps -ef | grep nginx"

运行结果
172.17.0.4 | SUCCESS | rc=0 >>
root         68      1  0 09:55 ?        00:00:00 nginx: master process /data/soft/nginx/nginx -c /data/soft/nginx/nginx.conf
nobody       69     68  0 09:55 ?        00:00:00 nginx: worker process
root        298    293  0 09:58 pts/0    00:00:00 /bin/sh -c ps -ef | grep nginx
root        300    298  0 09:58 pts/0    00:00:00 grep nginx

172.17.0.3 | SUCCESS | rc=0 >>
root         71      1  0 08:18 ?        00:00:00 nginx: master process /data/soft/nginx/nginx -c /data/soft/nginx/nginx.conf
nobody       72     71  0 08:18 ?        00:00:00 nginx: worker process
root       1816   1811  0 09:58 pts/0    00:00:00 /bin/sh -c ps -ef | grep nginx
root       1818   1816  0 09:58 pts/0    00:00:00 grep nginx

4、更改节点服务器文件权限

ansible all -m file -a "dest=/data/www/gong.txt mode=777"

运行结果
172.17.0.4 | SUCCESS => {
    "changed": true, 
    "gid": 0, 
    "group": "root", 
    "mode": "0777", 
    "owner": "root", 
    "path": "/data/www/gong.txt", 
    "size": 6, 
    "state": "file", 
    "uid": 0
}
172.17.0.3 | SUCCESS => {
    "changed": true, 
    "gid": 0, 
    "group": "root", 
    "mode": "0777", 
    "owner": "root", 
    "path": "/data/www/gong.txt", 
    "size": 6, 
    "state": "file", 
    "uid": 0
}

4、在节点服务器上拉取一个git库

ansible all -m shell -a "cd /data/www; git clone git@git.coding.net:gongfuxiang/hello.git"

运行结果
172.17.0.4 | SUCCESS | rc=0 >>
Cloning into 'hello'...

172.17.0.3 | SUCCESS | rc=0 >>
Cloning into 'hello'...

Ansible更多使用方法 Ansible中文使用权威指南

阅读全文

CentOS安装Munin监控服务器
发表于 2016-10-13 | 浏览(8072) | 服务器

效果图


作为一个网络资源监控工具,Munin能够帮助分析资源趋势和查看薄弱环节以及导致产生性能问题的原因。开发此软件的团队希望它能够易用和用户体验友好。该软件是用Perl开发的,并采用rrdtool来绘制图形,使用了web界面进行呈现。开发人员推广此应用时声称当前已有500多个监控插件可以“即插即用*”。

一、安装web服务器 nginx或apache都可以(搜索本博客中有nginx的安装教程)

服务器列表
Master  192.168.1.100
Node1   192.168.1.200
Node2   192.168.1.201

二、Master安装Munin

1、安装EPEL源(已安装可跳过)

rpm -Uvh https://mirrors.tuna.tsinghua.edu.cn/epel/6/i386/epel-release-6-8.noarch.rpm

2、Master 安装munin服务

yum -y install munin

3、修改配置文件  vim /etc/munin/munin.conf

将以下几行的注释去掉(分别是 数据路径,wab路径,日志路径,运行run路径,模板文件路径)
dbdir  /var/lib/munin
htmldir /var/www/html/munin
logdir /var/log/munin
rundir  /var/run/munin
tmpldir /etc/munin/templates

将以下监控本机的代码注释掉
#[localhost]
#    address 127.0.0.1
#    use_node_name yes
同时添加被监控机地址
[node1]
    address 192.168.1.200
    use_node_name yes
[node2]
    address 192.168.1.201
    use_node_name yes

use_node_name命令控制munin命名节点的方式,如果后面跟的参数为yes就是用括号中的值来命名,如果是no则将执行一个DNS查询。

4、配置服务需要用户名和密码才能访问,apache中自带htpasswd,nginx中没,可以搜索本博客中的教程

htpasswd -c /etc/munin/munin-htpasswd 用户名
然后输入密码

5、在nginx中或apache中添加htpasswd用户认证(这里nginx做演示 server中)

auth_basic "Authorized users only";
auth_basic_user_file /etc/munin/munin-htpasswd;

6、安装完munin服务端后,程序会自动创建一个计划任务,可以看到是每5分钟获取一次数据(可以根据自己的需求修改定时任务时间)

cat /etc/cron.d/munin

*/5 * * * * munin test -x /usr/bin/munin-cron && /usr/bin/munin-cron

7、启动crond服务

service crond start

三、Node服务器安装Munin

1、安装EPEL源(已安装可跳过)

rpm -Uvh https://mirrors.tuna.tsinghua.edu.cn/epel/6/i386/epel-release-6-8.noarch.rpm

yum -y install munin-node

2、修改配置文件   vim /etc/munin/munin-node.conf

找到 allow ^127\.0\.0\.1$
这里是表示允许谁来获取信息,在下面加上监控机IP:
allow ^192\.168\.1\.100$

3、防火墙配置   vim /etc/sysconfig/iptables

-A INPUT -m state --state NEW -m tcp -p tcp --dport 4949 -j ACCEPT

4、启动munin-node

service munin-node start

四、进入Master测试看看

telnet 192.168.1.200 4949

访问Master配置的尾部服务器查看节点服务的监控数据

阅读全文

Nginx+Lua+Redis搭建高并发服务
发表于 2016-10-2 | 浏览(12125) | 服务器

架构图


一、准备

1、服务器首先是需要安装redis服务,查看本博客中的另一篇文章
2、安装nginx+luq服务,查看本博客中的另一篇文章

二、下载lua redis库

lua-redis库地址 https://github.com/openresty/lua-resty-redis
cd /data/www/lua/vendor
git clone https://github.com/openresty/lua-resty-redis.git

三、vim nginx.conf,http中添加

lua_package_path "/data/www/lua/vendor/lua-resty-redis/lib/?.lua;;";

四、nginx server中操作redis

1、在nginx.conf中嵌入lua代码

location /hello {
    default_type 'text/json';
    local redis = require "resty.redis";
    local instance = redis:new();
    local host = "127.0.0.1";
    local port = 6379;
    local ok,err = instance:connect(host,port);
    if not ok then
       ngx.log(ngx.ERR,err);
       ngx.exit(ngx.HTTP_SERVICE_UNAVAILABLE);
    end
    local suc, err instance:set('devil', 'hello world')
    f not suc then
        ngx.say("error")
    else
        ngx.say(instance:get('instance'))
    end
}

2、在实际业务中,独立lua代码(下面是一个redis简单的demo)

location /hello {
    default_type 'text/json';
    lua_need_request_body on;
    content_by_lua_file /data/www/lua/www/redis.lua;
}

2.1、lua文件的代码   vim /data/www/lua/www/redis.lua

#!/usr/local/bin/lua

--[[
    redis操作demo
    Devil
    http://gongfuxiang.com
--]]

-- 引入redis库
local redis = require "resty.redis";

-- 实例化redis
local instance = redis:new();

-- redis配置参数
local host = "127.0.0.1";
local port = 6379;

-- 创建redis连接
local ok,err = instance:connect(host,port);
if not ok then
   ngx.log(ngx.ERR,err);
   ngx.exit(ngx.HTTP_SERVICE_UNAVAILABLE);
end

-- 获取客户端post过来的body数据
local request_body = ngx.req.get_body_data() or nil
if( request_body ~= nil )
then
    -- 客户端ip
    local client_ip =ngx.req.get_headers()["X-Real-IP"]
    if client_ip == nil then
            client_ip = ngx.req.get_headers()["x_forworded_for"]
    end
    if client_ip == nil then
            client_ip = ngx.var.remote_addr
    end

    -- 当前时间戳
    local time = os.time()

    -- 拼接redis数据
    local data = client_ip.."{-}"..time.."{-}"..request_body

    -- 队列方式存储redis数据
    local suc, err = instance:lpush('key_list', data)
    if not suc then
        ngx.say('{"code":-2, "msg":"操作失败"}')
    end
    ngx.say('{"code":0, "msg":"操作成功"}')
else
    ngx.say('{"code":-1, "msg":"数据有误"}')
end

五、测试,访问 http://localhost/hello

hello world

阅读全文

Nginx结合Lua模块
发表于 2016-10-2 | 浏览(6867) | 服务器

一、准备(软件存放目录创建)

mkdir /data
cd /data
mkdir src soft www
cd www
mkdir lua vendor
cd lua www 

二、常用库安装

yum -y install automake autoconf libtool make gcc gcc-c++ libmcrypt-devel mhash-devel libxslt-devel libjpeg libjpeg-devel libpng libpng-devel freetype freetype-devel libxml2 libxml2-devel zlib zlib-devel glibc glibc-devel glib2 glib2-devel bzip2 bzip2-devel ncurses ncurses-devel curl curl-devel e2fsprogs e2fsprogs-devel krb5 krb5-devel libidn libidn-devel openssl openssl-devel

三、nginx依赖库安装

1、安装PCRE库

ftp://ftp.csx.cam.ac.uk/pub/software/programming/pcre/ 下载最新的 PCRE 源码包,使用下面命令下载编译和安装 PCRE 包:
cd /data/src
wget ftp://ftp.csx.cam.ac.uk/pub/software/programming/pcre/pcre-8.38.tar.gz
tar -zxvf pcre-8.38.tar.gz
./configure
make && make install

2、安装zlib库

http://zlib.net/zlib-1.2.8.tar.gz 下载最新的 zlib 源码包,使用下面命令下载编译和安装 zlib包:
cd /data/src
wget http://zlib.net/zlib-1.2.8.tar.gz
tar -zxvf zlib-1.2.8.tar.gz
cd zlib-1.2.8
./configure
make && make install

3、安装ssl(某些vps默认没装ssl)

cd /data/src
wget http://www.openssl.org/source/openssl-1.0.2.tar.gz
tar -zxvf openssl-1.0.2.tar.gz
./config
make && make install
cp apps/openssl /usr/bin/
如果提示覆盖,确认就OK了,再查看openssl version版本就是最新版了

4、nginx lua扩展库

cd /data/src
wget https://github.com/openresty/lua-nginx-module/archive/v0.10.6.tar.gz
wget https://github.com/simpl/ngx_devel_kit/archive/v0.3.0.tar.gz
mv v0.3.0.tar.gz ngx_devel_kit-0.3.0.tar.gz
mv v0.10.6.tar.gz lua-nginx-module-0.10.6.tar.gz
tar -zxvf ngx_devel_kit-0.3.0.tar.gz
tar -zxvf lua-nginx-module-0.10.6.tar.gz

5、LuaJIT安装

cd /data/src
wget http://luajit.org/download/LuaJIT-2.0.4.tar.gz
tar -zxvf LuaJIT-2.0.4.tar.gz 
cd LuaJIT-2.0.4
make && make install

四、安装nginx

1、安装nginx

Nginx 一般有两个版本,分别是稳定版和开发版,您可以根据您的目的来选择这两个版本的其中一个,下面是把 Nginx 安装到 /data/soft/nginx 目录下的详细步骤:
cd /data/src
wget http://nginx.org/download/nginx-1.9.9.tar.gz
tar -zxvf nginx-1.9.9.tar.gz
cd nginx-1.9.9
./configure --sbin-path=/data/soft/nginx/nginx \--conf-path=/data/soft/nginx/nginx.conf \--pid-path=/data/soft/nginx/nginx.pid \--with-http_realip_module \--with-http_ssl_module \--with-pcre=/data/src/pcre-8.38 \--with-zlib=/data/src/zlib-1.2.8 \--with-http_stub_status_module \--add-module=/data/src/ngx_cache_purge-2.3 \--add-module=/data/src/ngx_devel_kit-0.3.0 \--add-module=/data/src/lua-nginx-module-0.10.6
make && make install

2、告诉nginxlua库路径

export LUAJIT_LIB=/usr/local/lib
export LUAJIT_INC=/usr/local/include/luajit-2.0

3、查看nginx是否正常

nginx -v
可能会出现下面的错误
./objs/nginx: error while loading shared libraries: libluajit-5.1.so.2: cannot open shared object file: No such file or directory
解决方法:
ln -s /usr/local/lib/libluajit-5.1.so.2 /lib64/libluajit-5.1.so.2

8、nginx常用操作

cp /data/soft/nginx/nginx /etc/init.d/
/etc/init.d/nginx               启动nginx
/etc/init.d/nginx -s reload     重启nginx
/etc/init.d/nginx -s stop       关闭nginx

9、进入nginx目录校验lua是否能够正常运行

cd /data/soft/nginx
vim nginx.conf(server中添加以下代码)
location /hello { 
    default_type 'text/plain'; 
    content_by_lua 'ngx.say("hello, lua")'; 
}
重启nginx即可,访问 http://localhost/hello 会出现 hello,lua

阅读全文

CentOS搭建FTP服务器
发表于 2016-9-16 | 浏览(6465) | 服务器

1、查看是否已经安装vsftpd

rpm -qa | grep vsftpd

2、安装vsftpd

yum -y install vsftpd

2.1、将vsftpd加入开机启动

chkconfig vsftpd on

3、vsftpd配置  vim /etc/vsftpd/vsftpd.conf

# 设定不允许匿名访问
anonymous_enable=NO

# 设定本地用户可以访问。注:如使用虚拟宿主用户,在该项目设定为NO的情况下所有虚拟用户将无法访问
local_enable=YES

# 使用户不能离开主目录
chroot_list_enable=YES
ascii_upload_enable=YES

# 设定支持ASCII模式的上传和下载功能
ascii_download_enable=YES

# 启用“倾听”指令时,vsftpd在独立模式和运行,监听IPv4的套接字。这个指令不能一起使用, listen_ipv6指令
listen=YES

# PAM认证文件名。PAM将根据/etc/pam.d/vsftpd进行认证以下这些是关于vsftpd虚拟用户支持的重要配置项,默认vsftpd.conf中不包含这些设定项目,需要自己手动添加
pam_service_name=vsftpd

# 设定启用虚拟用户功能
guest_enable=YES

# 指定虚拟用户的宿主用户,CentOS中已经有内置的ftp用户了
guest_username=ftp

# 设定虚拟用户个人vsftp的CentOS FTP服务文件存放路径。存放虚拟用户个性的CentOS FTP服务文件(配置文件名=虚拟用户名进行认证
user_config_dir=/etc/vsftpd/vuser_conf
chroot_list_file=/etc/vsftpd/vuser_passwd.txt

# 授权用户权限(新版本需要设置此参数)
#allow_writeable_chroot=YES

# 开启PASV模式
pasv_enable=YES
pasv_min_port=40000
pasv_max_port=40080
pasv_promiscuous=YES

# 阻止特定的本地用户登录ftp
userlist_enable=YES
userlist_deny=YES
userlist_file=/etc/vsftpd/user_list

4、创建用户和密码文本  vim /etc/vsftpd/vuser_passwd.txt,注意奇行是用户名,偶行是密码

devil
123456

4.1、生成虚拟用户认证的db文件

db_load -T -t hash -f /etc/vsftpd/vuser_passwd.txt /etc/vsftpd/vuser_passwd.db

4.2、安装Berkeley DB工具,很多人找不到db_load的问题就是没有安装这个包(已安装则跳过)

yum install db4 db4-utils

5、编辑认证文件  vim /etc/pam.d/vsftpd,全部注释掉原来语句,再增加以下两句

auth       required     pam_userdb.so db=/etc/vsftpd/vuser_passwd
account    required     pam_userdb.so db=/etc/vsftpd/vuser_passwd

6、创建虚拟用户配置文件目录

mkdir /etc/vsftpd/vuser_conf

6.1、创建虚拟用户配置文件  vim /etc/vsftpd/vuser_conf/devil

local_root=/data/ftp/devil #虚拟用户根目录,根据实际情况修改
write_enable=YES
anon_umask=022 #掩码
anon_world_readable_only=NO
anon_upload_enable=YES
anon_mkdir_write_enable=YES
anon_other_write_enable=YES

7、设置Selinux(如果你的selinux是开启的话)

setsebool -P ftp_home_dir=1   #设置ftp可以使用home目录
sersebool -P allow_ftpd_full_access=1   #设置ftp用户可以有所有权限

8、设置FTP根目录权限

mkdir -p /data/ftp/devil
chmod 755 /data/ftp
chmod -R 777 /data/ftp/devil

9、配置防火墙  vim /etc/sysconfig/iptables

-A INPUT -m state --state NEW -m tcp -p tcp --dport 21 -j ACCEPT
-A INPUT -m state --state NEW -m tcp -p tcp --dport 22 -j ACCEPT
-A INPUT -p tcp --dport 40000:40080 -j ACCEPT

10、查看selinux安全模式(如果显示 Enforcing ,则需要改成 Disabled 模式)

getenforce

10.1、selinux模式为Disabled则跳过,vim /etc/selinux/config

SELINUX=disabled
默认是enforcing  把他修改为 disabled

11、启动vsftpd服务

service vsftpd start

12、重启防火墙(如果防火墙不想配置,则关闭防火墙即可,线上建议开启防火墙)

service iptables restart

13、测试 在客户端使用

ip 当前服务器的ip(ifconfig查看当前ip)
用户 devli
密码 123456

阅读全文

rsync+inotify搭建多台服务器之间文件实时同步
发表于 2016-8-31 | 浏览(10332) | 服务器

一、准备

Inotify 是一种强大的、细粒度的、异步的文件系统事件监控机制,Linux内核从2.6.13起,加入了Inotify支持,通过Inotify可以监控文件系统中添加、删除,修改、移动等各种细微事件,利用这个内核接口,第三方软件就可以监控文件系统下文件的各种变化情况,而Inotify-tools就是这样的一个第三方软件。

1、服务器

操作系统     CentOS-6.5-x86_64 6.5
Linux内核 2.6.32

master      192.168.0.200   客户端(数据服务器)
slave1      192.168.0.110   数据同步服务器(备份服务器1)
slave2      192.168.0.111   数据同步服务器(备份服务器2)

2、基础命令安装(所有服务器都需要安装,已经安装可跳过)

yum install -y gcc gcc-c++ make wget

二、数据同步服务端配置(备份服务器)

1、检查是否已安装rsync

rpm -qa | grep rsync

2、安装rsync和xinetd超级守护进程

yum -y install xinetd rsync

3、创建rsync用户及模块目录并更改其用户组(用户运行rsync的用户,不建议使用root)

useradd rsync -s /sbin/nologin  -M
grep rsync /etc/passwd
mkdir -p /data/www
chown -R rsync:rsync /data

4、配置rsync认证文件 /etc/rsync.password(格式 用户:密码)

echo "rsync:rsync" > /etc/rsync.password

4.1、为密码文件提权,增加安全性,文件权限修改成600

chmod 600 /etc/rsync.password

5、为rsync服务提供配置文件,vim  /etc/rsyncd.conf 文件默认不存在,手动创建即可

# 工作中指定用户(需要指定用户)
uid = rsync
gid = rsync

# 相当于黑洞.出错定位
use chroot = no

# 有多少个客户端同时传文件
max connections = 200

# 超时时间
timeout = 600

# 进程号文件
pid file = /var/run/rsyncd.pid

# 锁文件
lock file = /var/run/rsync.lock

# 日志文件
log file = /var/log/rsyncd.log

# 模块配置
# 这个模块对应的是推送目录,模块名称随便起
[rsync]

# 需要同步的目录
path = /data/www/

# 表示出现错误忽略错误
ignore errors

# 表示网络权限可写(本地控制真正可写)
read only = false

# 这里设置IP或让不让同步
list = false

# 白名单,可以访问此模块的主机
hosts allow = 192.168.0.200

# 黑名单,*表示任何主机
hosts deny = *

# 认证此模块的用户名,虚拟用户
auth users = rsync

# 虚拟用户的密码文件
secrets file = /etc/rsync.password

6、配置rsync操作脚本

A、启动脚本

echo "rsync --daemon --config=/etc/rsyncd.conf" > /etc/init.d/rsync-start
chmod +x /etc/init.d/rsync-start

B、停止脚本

echo "killall -9 rsync > /dev/null 2>&1; rm -rf /var/run/rsyncd.pid" > /etc/init.d/rsync-stop
chmod +x /etc/init.d/rsync-stop

C、重启脚本

echo "/etc/init.d/rsync-stop; /etc/init.d/rsync-start" > /etc/init.d/rsync-restart
chmod +x /etc/init.d/rsync-restart

6.1、以后服务器启动后,手动启动rsync脚本即可

/etc/init.d/rsync-start      启动
/etc/init.d/rsync-stop          停止
/etc/init.d/rsync-restart       重启

7、启动xinetd超级守护进程服务

service xinetd start

8、配置防火墙允许873端口通信  vim /etc/sysconfig/iptables

-A INPUT -m state --state NEW -m tcp -p tcp --dport 873 -j ACCEPT

9、查看rsync服务是否成功开启

ps -ef | grep rsync

10、检查873端口是否成功监听

netstat -ntlp | grep 873

三、客户端配置

1、检查是否已安装rsync

rpm -qa | grep rsync

1.1、安装rsync服务

yum -y install rsync

2、创建本地监控的目录

mkdir -p /data/www

3、配置rsync认证文件 /etc/rsync.password(这里只要写密码即可,切记)

echo "rsync" > /etc/rsync.password

3.1、为密码文件提权,增加安全性,文件权限修改成600

chmod 600 /etc/rsync.password

4、测试一下,进入 /data/www

cd /data/www
touch test.txt
rsync -avz test.txt rsync@192.168.0.110::rsync --password-file=/etc/rsync.password

5、inotify-tools实现实时同步

mkdir /data/soft
cd /data/soft
wget http://github.com/downloads/rvoicilas/inotify-tools/inotify-tools-3.14.tar.gz
tar -zxvf inotify-tools-3.14.tar.gz
cd inotify-tools-3.14
./configure --prefix=/usr/local/inotify
make && make install

6、编写rsync脚本,添加一下内容  vim /etc/rsync.sh

#!/bin/bash

# 数据同步监控脚本
# @author   Devil
# @version  0.0.1

# inotify-slave的ip地址(多个ip空格分割)
host="192.168.0.110 192.168.0.111"

# 本地监控的目录
src=/data/www/

# inotify-slave的rsync服务的模块名
dst=rsync

# inotify-slave的rsync服务的虚拟用户
user=rsync

# 本地调用rsync服务的密码文件
rsync_passfile=/etc/rsync.password

# inotify的安装目录
inotify_home=/usr/local/inotify

# 参数校验
if [ ! -e "$src" ] \
|| [ ! -e "${rsync_passfile}" ] \
|| [ ! -e "${inotify_home}/bin/inotifywait" ] \
|| [ ! -e "/usr/bin/rsync" ];
then
    echo "Check File and Folder"
    exit 9
fi
${inotify_home}/bin/inotifywait -mrq --timefmt '%d/%m/%y %H:%M' --format '%T %w%f' -e close_write,delete,create,attrib $src \
| while read file
do
    cd $src
    for tmp_host in $host
    do
        rsync -aruz -R --delete ./  --timeout=100 $user@$tmp_host::$dst --password-file=${rsync_passfile} > /dev/null 2>&1
    done
done
exit 0

6.1、给rsync.sh执行权限

chmod +x /etc/rsync.sh

6.2、配置操作rsync脚本文件,添加以下内容  vim /etc/init.d/rsync

# 脚本名称
name="rsync"

# 拉取正在运行的脚本进程号
PROCESS=`ps -ef | grep $name | grep -v grep | grep -v PPID | awk '{ print $2}'`

# 输出正在停止脚本的提示
if [ -n "$PROCESS" ]
then
    echo "正在停止"
fi

# 停止脚本
for i in $PROCESS
do
    kill -9 $i > /dev/null 2>&1
done

# 是否停止成功
if [ $? != 0 ]
then
    echo "停止失败"
    exit 0
fi

# 启动脚本
/etc/rsync.sh &

# 等待2秒
sleep 2

# 判断脚本是否启动成功
is_rsync=$(ps -ef | grep "$name" | grep -v grep | wc -l)
if [ $is_rsync != 0 ]
then
    echo "启动成功"
else
    echo "启动失败"
fi

6.3、给rsync服务脚本执行权限

chmod +x /etc/init.d/rsync

7、以后每次只需运行rsync脚本即可,停止启动合并

/etc/init.d/rsync

8、进入监控目录操作文件试试看效果

cd /data/www
touch test.txt
echo "hello" > test.txt
touch world.txt

9、查看备份服务器 192.168.0.100,192.168.0.110

cd /data/www
ls
文件都同步过来了

阅读全文

TOP