集群管理系统 Saltstack的资源配置及性能测试-白红宇

SaltStack是继 Puppet、Chef 之后新出现的配置管理及远程执行工具，目前，SaltStack 正得到越来越多的瞩目。

与 Puppet 相比，SaltStack 没有那么笨重，感觉较为轻量；不像 Puppet 有一套自己的 DSL 用来写配置，SaltStack 使用 YAML 作为配置文件格式，写起来既简单又容易，同时也便于动态生成；此外，SaltStack 在远程执行命令时的速度非常快，也包含丰富的模块。

SaltStack 是开源软件，其源代码托管于 GitHub 上，安装及使用尽可参考其官方文档。

安装就很简单了，下载个epel的源，然后直接yum 就偶了~

原文：http://rfyiamcool.blog.51cto.com/1030776/1262537

拿一台服务器做master，直接yum安装

                         
yum install salt-master

然后启动

                         
salt-master -d

客户端 client

安装

                         
yum install salt-minion

需要在客户端的/etc/salt/minion 里面填写主的ip地址.

需要注意的是，配置要遵守yaml的格式。 master:空格10.10.10.66

然后启动minion客户端

                         
salt-minion-d

我们可以在master 查看下客户端是否请求认证!

确认客户端的请求可以用

salt-key -a 65.ruifengyun.com

也可以全部认证

salt-key -A

认证后我们就可以测试下拉~ 下面的意思是，执行所有的注册主机，用run模块，执行 ip a 这个命令，并返回结果。

salt详细的帮助文档：

                         
[root@
66
~]# salt -h
Usage: salt [options] 
'<target>'
<
function
> [arguments]
Options:
  
--version             show program's version number and exit
  
--versions-report     show program's dependencies version number and exit
  
-h, --help            show 
this
help message and exit
  
-c CONFIG_DIR, --config-dir=CONFIG_DIR
                        
Pass 
in
an alternative configuration directory.
                        
Default: /etc/salt
  
-t TIMEOUT, --timeout=TIMEOUT
                        
Change the timeout, 
if
applicable, 
for
the running
                        
command; 
default
=
5
  
-s, --
static
Return the data from minions 
as
a group after they all
                        
return
.
  
--async               Run the salt command but don't wait 
for
a reply
  
-v, --verbose         Turn on command verbosity, display jid and active job
                        
queries
  
-b BATCH, --batch=BATCH, --batch-size=BATCH
                        
Execute the salt job 
in
batch mode, pass either the
                        
number of minions to batch at a time, or the
                        
percentage of minions to have running
  
-a EAUTH, --auth=EAUTH, --eauth=EAUTH, --extended-auth=EAUTH
                        
Specify an extended authentication system to 
use
.
  
-T, --make-token      Generate and save an authentication token 
for
re-
use
.
                        
Thetoken 
is
generated and made available 
for
the
                        
period defined 
in
the Salt Master.
  
--
return
=RETURNER     Set an alternative 
return
method. By 
default
salt will
                        
send the 
return
data from the command back to the
                        
master, but the 
return
data can be redirected into any
                        
number of systems, databases or applications.
  
-d, --doc, --documentation
                        
Return the documentation 
for
the specified module or
                        
for
all modules 
if
none are specified.
  
Target Options:
    
Target Selection Options
    
-E, --pcre          Instead of using shell globs to evaluate the target
                        
servers, 
use
pcre regular expressions
    
-L, --list          Instead of using shell globs to evaluate the target
                        
servers, take a comma delimited list of servers.
    
-G, --grain         Instead of using shell globs to evaluate the target
                        
use
a grain value to identify targets, the syntax 
for
                        
the target 
is
the grain key followed by a
                        
globexpression: 
"os:Arch*"
    
--grain-pcre        Instead of using shell globs to evaluate the target
                        
use
a grain value to identify targets, the syntax 
for
                        
the target 
is
the grain key followed by a pcre regular
                        
expression: 
"os:Arch.*"
    
-N, --nodegroup     Instead of using shell globs to evaluate the target
                        
use
one of the predefined nodegroups to identify a
                        
list of targets.
    
-R, --range         Instead of using shell globs to evaluate the target
                        
use
a range expression to identify targets. Range
                        
expressions look like %cluster
    
-C, --compound      The compound target option allows 
for
multiple target
                        
types to be evaluated, allowing 
for
greater
                        
granularity 
in
target matching. The compound target 
is
                        
space delimited, targets other than globs are preceded
                        
with
an identifier matching the specific targets
                        
argument type: salt 'G@os:RedHat and webser* or
                        
E@database.*'
    
-X, --exsel         Instead of using shell globs 
use
the 
return
code of a
                        
function
.
    
-I, --pillar        Instead of using shell globs to evaluate the target
                        
use
a pillar value to identify targets, the syntax 
for
                        
the target 
is
the pillar key followed by a
                        
globexpression: 
"role:production*"
    
-S, --ipcidr        Match based on Subnet (CIDR notation) or IPv4 address.
  
Output Options:
    
Configure your preferred output format
    
--raw-out           DEPRECATED. Print the output from the 
'salt'
command
                        
in
raw python form, 
this
is
suitable 
for
re-reading
                        
the output into an executing python script 
with
eval.
    
--yaml-out          DEPRECATED. Print the output from the 
'salt'
command
                        
in
yaml.
    
--json-out          DEPRECATED. Print the output from the 
'salt'
command
                        
in
json.
    
--text-out          DEPRECATED. Print the output from the 
'salt'
command
                        
in
the same form the shell would.
    
--out=OUTPUT, --output=OUTPUT
                        
Print the output from the 
'salt'
command using the
                        
specified outputter. The builtins are 
'no_return'
,
                        
'grains'
, 
'yaml'
, 
'overstatestage'
, 
'json'
, 
'pprint'
,
                        
'nested'
, 
'raw'
, 
'highstate'
, 
'quiet'
, 
'key'
, 
'txt'
,
                        
'virt_query'
.
    
--out-indent=OUTPUT_INDENT, --output-indent=OUTPUT_INDENT
                        
Print the output indented by the provided value 
in
                        
spaces. Negative values disables indentation. Only
                        
applicable 
in
outputters that support indentation.
    
--no-color, --no-colour
                        
Disable all colored output
        
      

salt 在语句的后面加个 -t 时间，就可以做超时控制：

这里咱们再详细的说下，如何用salt的targeting匹配打算执行的主机

刚才咱们用的是 salt \* 意思是所有的在线客户端都要执行。

下面是通过shell通配符的方式匹配

下面是通过grains来匹配主机，grains又是什么尼？ grains可以理解为saltstack客户端的一些特征，是saltstack客户端minion自己在服务器收集的，他可以获取ip，mac，系统，内存，cpu。。。。。

-G 就是匹配grains的意思，我这里只是匹配系统为Centos的主机，用ping模块，测试他通不通。

下面是通过正则的方式：

为了方便起见，salt也支持组的概念，你可以把自己常用的主机，放在一个组里面，这样你以后可以选定这个组，做针对的操作。

vim /etc/salt/master

                         
nodegroups:
  
group1: 
'L@10.200.89.67,10.200.89.69'
  
group2: 
'G@os:Debian and foo.domain.com'

使用-N选项：

salt -N group1 test.ping

好了，在这里咱们再说下，salt的文件推送。 salt的文件传输，用的是zeromq的机制，这东西做mq速度够快，但是做文件的传输，性能真心不咋低。。。可以说很一般，大家可以用rsync来扩展下性能。

master端的操作

我们再到客户端看看，文件是否同步过来？有 1 这个文件，说明无问题。。。

刚才咱们只是简单的说了通过grains定位主机，在这里我们再详细的描述下，该如何查看添加删除grains的信息。

grains.items参数，我们可以通过grains 来查看客户端的基本信息。

grains也是可以定制的，其实也好简单~

如何添加grains数据，vim /srv/salt/_grains/r.py 然后按照下面的格式，return grains就行了。写完了模块，再用 saltutil.sync_all把数据推下去。

这样就成了~ 这个东西我们可以用来做定位主机的信息。

saltsatck的模块是个很重要的东西，我们现在开始写模块：

1 编辑模块

vim /srv/salt/_modules/nima.py

2 同步

salt \* saltutil.sync_all

3 测试结果

咱们再执行以下

这样我们就可以看到自己定义的模块执行结果了。。。

咱们可以简单加个接受的参数就可以实现：

你自己可以随意的定义，想执行linux命令的话，你可以调用os subprocess的模块

大家看，这个是不是和cmd.run是一个效果的~，最起码看起来是那样的~

有时候大家会发现salt的执行速度有点慢，这样的问题有可能是你认证的主机大量的down机或者是不存在，网络有问题啥的，反正就是不稳定的因素

这个时候咱们可以把那主机给踢出出去。

原文： xiaorui.cc

再说下saltstack的安全问题 saltstack自带了一个acl控制

可以定义对每个主机的使用哪个模块。。。

                         
vim /etc/salt/master
增加以下内容
client_acl:
   
66
.xiaorui.com:
     
- test.ping
     
- status.uptime

这个意思是说针对66这个人，咱们只能运维 test.ping和status.uptime ，要是运行 cmd.run rm -f / 的话会提示权限导致不能运行的。

Failed to authenticate, is this user permitted to execute commands?'

state状态的管理：

写来个top.sls的例子

                         
base:
  
'*'
:
    
- ldap-client
    
- networking
    
- salt.minion
  
'salt-master*'
:
    
- salt.master
  
'^(memcache|web).(qa|prod).loc$'
:
    
- match: pcre
    
- nagios.client
    
- apache.server
  
'os:Ubuntu'
:
    
- match: grain
    
- repos.ubuntu
  
'os:(RedHat|CentOS)'
:
    
- match: grain_pcre
    
- repos.epel
  
'foo,bar,baz'
:
    
- match: list
    
- database
  
'somekey:abc'
:
    
- match: pillar
    
- xyz
  
'nag1* or G@role:monitoring'
:
    
- match: compound
    
- nagios.server

这里简单讲讲 job management 任务管理：

要知道salt针对每次的操作，他都会存起来，所有通过jobs可以获取以前的记录，甚至可以做做审计啥的。

salt-run jobs.list_jobs 是显示最近的操作

salt-run jobs.lookup_jid id号码是显示具体的返回值

                         
[root@devops-ruifengyun ~ ]$ salt-run jobs.list_jobs|tail -n 
20
  
Function: saltutil.find_job
  
StartTime: 
2014
, Mar 
16
08
:
21
:
24.036011
  
Target: 
'*'
  
Target-type: glob
  
User: root
'20140316082318997104'
:
  
Arguments:
  
- dir
  
Function: cmd.run
  
StartTime: 
2014
, Mar 
16
08
:
23
:
18.997104
  
Target: 
10.200
.
89
.*
  
Target-type: glob
  
User: root
'20140316084139556527'
:
  
Arguments: []
  
Function: saltutil.running
  
StartTime: 
2014
, Mar 
16
08
:
41
:
39.556527
  
Target: 
'*'
  
Target-type: glob
  
User: root
[root@devops-ruifengyun ~ ]$
[root@devops-ruifengyun ~ ]$
[root@devops-ruifengyun ~ ]$ salt-run jobs.lookup_jid 
20140316082318997104
10.200
.
89.67
:
    
beifen       install.log.syslog  keepalived-
1.2
.
12
.tar.gz  vs_wan.conf
    
install.log  keepalived-
1.2
.
12
vip_wan.conf
10.200
.
89.69
:
    
install.log  install.log.syslog  keepalived-
1.2
.
12
keepalived-
1.2
.
12
.tar.gz
        
      

通过salt-run jobs.active 获取当前还在运行的任务。

测试他是同步还是异步

结果是异步的~ 那就说明没有同步堵塞这一说~

master对于整个过程支持pub和sub的过程，剩下的东西都是客户端自己玩，只是在最后给他return一个结果罢了~

这里要感谢沈灿的帮助：

他的saltstack讲的比我的要细致。。。更加牛逼点~ 推荐大家去瞅瞅

需要说明的是他的网站真jiba慢~

这边再总结分享下，关于saltstack的教程，及我已经用saltstack做的案例，供大家瞅瞅！

运维平台化saltstack和jinja2模板构建高可用集群配置平台

http://rfyiamcool.blog.51cto.com/1030776/1351068

用saltstack cp模块实现文件管理、拉取和回滚下发

http://rfyiamcool.blog.51cto.com/1030776/1360468

saltsatck基础入门教程

http://rfyiamcool.blog.51cto.com/1030776/1262537

借用subprocess和gevent、multiprocess解决saltstack超时不准的问题

http://rfyiamcool.blog.51cto.com/1030776/1377429

简单实现海量数据的管理平台 [saltstack hadoop]

http://rfyiamcool.blog.51cto.com/1030776/1258561

利用saltstack的api接口和modules实现实时监控

http://rfyiamcool.blog.51cto.com/1030776/1345518

saltstack 关于ssh key

http://rfyiamcool.blog.51cto.com/1030776/1300204

saltstack web ui的配置及简单的二次开发

http://rfyiamcool.blog.51cto.com/1030776/1275443

saltstack websocket监控开发

http://rfyiamcool.blog.51cto.com/1030776/1269232

用Saltstack的modules和grains实现实时监控平台

http://rfyiamcool.blog.51cto.com/1030776/1266437

用Saltstack的returners实现批量监控和数据存储

http://rfyiamcool.blog.51cto.com/1030776/1264438

利用saltstack的salt-ssh进行集群管理【无客户端下】

http://rfyiamcool.blog.51cto.com/1030776/1305710

salt-api的接口文档

http://rfyiamcool.blog.51cto.com/1030776/1362979

大家还想看关于saltstack内容，可以提需求哈~

本文转自 rfyiamcool 51CTO博客，原文链接：http://blog.51cto.com/rfyiamcool/1262537，如需转载请自行联系原作者