linux日常运维工作

linux日常运维工作

Linux的使用环境也日趋成熟，各种开源产品络绎不绝，大有百花齐放的盛景，那么当Linux落地企业，回归工作时，我们还要面对这Linux运维方面的诸多问题，今天我们特意组织一场有关Linux 在企业运用当中交流分享活动。本次活动内容丰富，在此我们进行一下系统的梳理。

一 Linux选择

选择一个适合自身企业的Linux版本系列和主流版本还是相对不容易的，下面我们来介绍一下在选择时各企业所参考的依据：

RedHat和CentOS

选择红帽子系列产品，以centos为主，主要考虑有几个方面：

centos是redhat的编译版本，基本上没有什么大的变动 现在很多环境都是集群环境，包括web集群，中间件集群，rac群集等等，OS层面本身的高可用系数已经不是100%要求那么高了。 主流版本生命周期比较长，比较适合一个硬件的生命周期管理，基本上安装一次直到设备报废了。 批量安装部署方便，硬件和软件兼容性都挺好。 版本主要使用6版本，新上应用可以全面考虑升级使用7版本

SuSe

使用的Suse Linux Enterprise版，主要考虑因素如下：1、该发行版本性能和稳定性比较突出2、对客户的技术支持体系较为完备，服务响应较快（这基本上是最重要的因素）3、对开源社区如openstack等生态拥抱得也较好。4、版本主要是SUSE11 较多。

二 安装部署

三 初始化配置

禁用服务

chkconfig --level 35 iptables offchkconfig --level 35 ip6tables offservice iptables stopchkconfig --level 35 postfix off

禁用SeLinux

vi /etc/selinux/config SELINUX=disabled

配置YUM源配置

[root@rhel63 yum.repos.d]# vi local.repo [local]name=localbaseurl=file:///mnt/Serverenabled=1gpgcheck=0

可以配置为光盘，内部YUM源或EPEL等

常用软件安装

# yum install ftp telnet make imake gcc compat-libstdc++-33 gcc-c++ libstdc++ libXp kernel kernel-devel kernel-headers rsh ksh lsof openssh-clients -y# yum install iptraf.x86_64 unzip.x86_64 libaio.x86_64 eject sysfsutils dmidecode pciutils dstat lsscsi -y

安装xwindows

# yum groupinstall "X Window System" -y# yum groupinstall Desktop -y (可以不安装桌面） # yum install xorg-x11-apps -y (包含xclock）

配置ntp

*/10 * * * * /usr/sbin/ntpdate 10.0.0.1

Crontab 添加如上记录，指定内部ntp服务器

SSH 登录设置

修改ssh 禁用DNS 选项:

echo "UseDNS no" >> /etc/ssh/sshd_config service sshd restart

添加允许指定用户登录：

echo "AllowUsers user1" >> /etc/ssh/sshd_configservice sshd restart

上传扫描工具

rescan-scsi-bus.sh

网络上有该脚本，下载自行使用

修改历史记录格式

echo "export HISTTIMEFORMAT='%F %T'" >> /etc/profile

四 安全加固

注释掉系统不需要的用户和用户组

注意：不建议直接删除，当你需要某个用户时，自己重新添加会很麻烦。

cp /etc/passwd /etc/passwdbak #修改之前先备份vi /etc/passwd #编辑用户，在前面加上#注释掉此行#adm:x:3:4:adm:/var/adm:/sbin/nologin#lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin#sync:x:5:0:sync:/sbin:/bin/sync#shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown#halt:x:7:0:halt:/sbin:/sbin/halt#uucp:x:10:14:uucp:/var/spool/uucp:/sbin/nologin#operator:x:11:0:operator:/root:/sbin/nologin#games:x:12:100:games:/usr/games:/sbin/nologin#gopher:x:13:30:gopher:/var/gopher:/sbin/nologin#ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin#注释掉ftp匿名账号 cp /etc/group /etc/groupbak #修改之前先备份vi /etc/group #编辑用户组，在前面加上#注释掉此行#adm:x:4:root,adm,daemon#lp:x:7:daemon,lp#uucp:x:14:uucp#games:x:20:#dip:x:40:

关闭系统不需要的服务

service acpid stop chkconfig acpid off #停止服务，取消开机启动 #电源进阶设定，常用在 Laptop 上service autofs stop chkconfig autofs off #停用自动挂载档桉系统与週边装置service bluetooth stop chkconfig bluetooth off #停用Bluetooth蓝芽service cpuspeed stop chkconfig cpuspeed off #停用控制CPU速度主要用来省电service cups stop chkconfig cups off #停用 Common UNIX Printing System 使系统支援印表机service ip6tables stop chkconfig ip6tables off #禁止IPv6如果要恢复某一个服务，可以执行下面操作service acpid start chkconfig acpid on## 禁止非root用户执行/etc/rc.d/init.d/下的系统命令禁止非root用户执行/etc/rc.d/init.d/下的系统命令chmod -R 700 /etc/rc.d/init.d/*chmod -R 777 /etc/rc.d/init.d/* #恢复默认设置

给下面的文件加上不可更改属性，从而防止非授权用户获得权限

chattr +i /etc/passwdchattr +i /etc/shadowchattr +i /etc/groupchattr +i /etc/gshadowchattr +i /etc/services #给系统服务端口列表文件加锁,防止未经许可的删除或添加服务 lsattr /etc/passwd /etc/shadow /etc/group /etc/gshadow /etc/services #显示文件的属性 注意：执行以上权限修改之后，就无法添加删除用户了。如果再要添加删除用户，需要先取消上面的设置，等用户添加删除完成之后，再执行上面的操作 chattr -i /etc/passwd #取消权限锁定设置chattr -i /etc/shadowchattr -i /etc/groupchattr -i /etc/gshadowchattr -i /etc/services #取消系统服务端口列表文件加锁现在可以进行添加删除用户了，操作完之后再锁定目录文件

限制不同文件的权限

chattr +a .bash_history #避免删除.bash_history或者重定向到/dev/nullchattr +i .bash_history chmod 700 /usr/bin 恢复 chmod 555 /usr/bin chmod 700 /bin/ping 恢复 chmod 4755 /bin/pingchmod 700 /usr/bin/vim 恢复 chmod 755 /usr/bin/vimchmod 700 /bin/netstat 恢复 chmod 755 /bin/netstatchmod 700 /usr/bin/tail 恢复 chmod 755 /usr/bin/tailchmod 700 /usr/bin/less 恢复 chmod 755 /usr/bin/lesschmod 700 /usr/bin/head 恢复 chmod 755 /usr/bin/headchmod 700 /bin/cat 恢复 chmod 755 /bin/catchmod 700 /bin/uname 恢复 chmod 755 /bin/unamechmod 500 /bin/ps 恢复 chmod 755 /bin/ps

禁止使用Ctrl+Alt+Del快捷键重启服务器

cp /etc/inittab /etc/inittabbakvi /etc/inittab #注释掉下面这一行#ca::ctrlaltdel:/sbin/shutdown -t3 -r now

使用yum update更新系统时不升级内核，只更新软件包

注意：由于系统与硬件的兼容性问题，有可能升级内核后导致服务器不能正常启动，这是非常可怕的，没有特别的需要，建议不要随意升级内核。

cp /etc/yum.conf /etc/yum.confbak1、修改yum的配置文件 vi /etc/yum.conf 在的最后添加 exclude=kernel*2、直接在yum的命令后面加上如下的参数：yum --exclude=kernel* update查看系统版本 cat /etc/issue查看内核版本 uname –a

关闭Centos自动更新

chkconfig --list yum-updatesd #显示当前系统状态yum-updatesd 0:关闭 1:关闭 2:启用 3:启用 4:启用 5:启用 6:关闭 service yum-updatesd stop #关闭 开启参数为start停止 yum-updatesd： [确定] service yum-updatesd status #查看是否关闭yum-updatesd 已停 chkconfig --level 35 yum-updatesd off #禁止开启启动（系统模式为3、5）chkconfig yum-updatesd off #禁止开启启动（所有启动模式全部禁止） chkconfig --list yum-updatesd #显示当前系统状态yum-updatesd 0:关闭 1:关闭 2:启用 3:关闭 4:启用 5:关闭 6:关闭

关闭多余的虚拟控制台

我们知道从控制台切换到 X 窗口，一般采用 Alt-F7 ，为什么呢？因为系统默认定义了 6 个虚拟控制台，所以 X 就成了第7个。实际上，很多人一般不会需要这么多虚拟控制台的，修改/etc/inittab ，注释掉那些你不需要的。

cp /etc/inittab /etc/inittabbakvi /etc/inittab# Run gettys in standard runlevels1:2345:respawn:/sbin/mingetty tty1#2:2345:respawn:/sbin/mingetty tty2#3:2345:respawn:/sbin/mingetty tty3#4:2345:respawn:/sbin/mingetty tty4#5:2345:respawn:/sbin/mingetty tty5#6:2345:respawn:/sbin/mingetty tty6

修改history命令记录

cp /etc/profile /etc/profilebakvi /etc/profile找到 HISTSIZE=1000 改为 HISTSIZE=50

隐藏服务器系统信息

在缺省情况下，当你登陆到linux系统，它会告诉你该linux发行版的名称、版本、内核版本、服务器的名称。为了不让这些默认的信息泄露出来，我们要进行下面的操作，让它只显示一个"login:"提示符。删除/etc/issue和/etc/issue.net这两个文件，或者把这2个文件改名，效果是一样的。

mv /etc/issue /etc/issuebakmv /etc/issue.net /etc/issue.netbak

优化Linux内核参数

cp /etc/sysctl.conf /etc/sysctl.confbakvi /etc/sysctl.conf #在文件末尾添加以下内容net.ipv4.tcp_max_syn_backlog = 65536net.core.netdev_max_backlog = 32768net.core.somaxconn = 32768net.core.wmem_default = 8388608net.core.rmem_default = 8388608net.core.rmem_max = 16777216net.core.wmem_max = 16777216net.ipv4.tcp_timestamps = 0net.ipv4.tcp_synack_retries = 2net.ipv4.tcp_syn_retries = 2net.ipv4.tcp_tw_recycle = 1#net.ipv4.tcp_tw_len = 1net.ipv4.tcp_tw_reuse = 1net.ipv4.tcp_mem = 94500000 915000000 927000000net.ipv4.tcp_max_orphans = 3276800#net.ipv4.tcp_fin_timeout = 30#net.ipv4.tcp_keepalive_time = 120net.ipv4.ip_local_port_range = 10024 65535 #（表示用于向外连接的端口范围。缺省情况下很小：32768到61000 注意：这里不要将最低值设的太低，否则可能会占用掉正常的端口！ ）/sbin/sysctl -p #使配置立即生效

系统优化

cp /etc/profile /etc/profilebak2vi /etc/profile #在文件末尾添加以下内容ulimit -c unlimitedulimit -s unlimitedulimit -SHn 65535 source /etc/profile #使配置立即生效ulimit -a #显示当前的各种用户进程限制

服务器禁止ping

cp /etc/rc.d/rc.local /etc/rc.d/rc.localbak vi /etc/rc.d/rc.local #在文件末尾增加下面这一行echo 1 > /proc/sys/net/ipv4/icmp_echo_ignore_all参数0表示允许 1

检查口令策略设置是否符合复杂度要求

cp -p /etc/pam.d/system-auth /etc/pam.d/system-auth_bakvi /etc/pam.d/system-auth可使用pam pam_cracklib module或pam_passwdqc module实现密码复杂度，两者不能同时使用password requisite pam_cracklib.so dcredit=-1 ucredit=-1 lcredit=-1 ocredit=-1 minclass=2 minlen=8password sufficient pam_unix.so md5 shadow nullok try_first_pass use_authtok

检查登录提示-是否设置登录成功后警告Banner

修改文件/etc/motd的内容，如没有该文件，则创建它。

#echo " Authorized users only. All activity may be monitored and reported " > /etc/motd

检查是否设置登录超时

执行备份：

cp -p /etc/profile /etc/profile_bakcp -p /etc/csh.cshrc /etc/csh.cshrc_bak

修改/etc/csh.cshrc文件，添加如下行：

set autologout=30

改变这项设置后，重新登录才能有效

五 多路径设置

六 OS 系统异常性能指标获取

CPU占用最高的10个进程

ps axww -o user,pid,pcpu,pmem,start,time,comm | head -1;ps axww -o user,pid,pcpu,pmem,start,time,comm | grep -v PID | sort -nr -k 3 | headps aux|head -1;ps aux|grep -v PID|sort -rn -k +3|headps auxw|head -1;ps auxw|sort -rn -k3|head -10

内存占用最高的10个进程

ps axww -o user,pid,pcpu,pmem,start,time,comm | head -1 ;ps axww -o user,pid,pcpu,pmem,start,time,comm | grep -v PID | sort -nr -k 4 | headps aux|head -1;ps aux|grep -v PID|sort -rn -k +4|headps auxw|head -1;ps auxw|sort -rn -k4|head -10

虚拟内存使用最多的前10个进程

ps auxw|head -1;ps auxw|sort -rn -k5|head -10

查看系统负载

dstat --top-mem --top-io --top-cpu --nocolor 1 10

统计当前连接数

ss -an | grep -v "State" | awk '{++S[$1]} END {for(a in S) print a, S[a]}'netstat -tan | awk '/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}'

当前连接数最多的10个进程

ss -tnp | grep -v "State" | awk '{print $6}' | awk -F '"' '{print $2}' | awk '{++S[$1]} END {for(a in S) print a, S[a]}' | sort -nr -k2 | headnetstat -tnp | grep -v "Active" | grep -v "TIME_WAIT" | grep -v "State" | awk -F '/' '{print $NF}' | awk '{++S[$1]} END {for(a in S) print a, S[a]}' | sort -nr -k2 | head

七 LVM日常使用

LVM在日常运维工作当中占据着很大的比重，在此我列举LVM常见的日常操作及步骤。

添加一个磁盘到OS，格式化文件系统使用，参考如下： 扫描磁盘pvcreate /dev/sdbvgcreate -s 8M datavg /dev/sdb lvcreate -L 10G -n datalv datavgmkfs.ext3 /dev/datavg/datalvmount /dev/datavg/datalv /datalvextend -L 20G /dev/datavg/datalvresize2fs /dev/datavg/datavlv这个其中每个步骤就不在做详细解释，有兴趣的可以独自搜索

2.文件系统的扩容和缩小（根文件系统缩小要相当的慎重）

# lsscsi [1:0:0:0]cd/dvd NECVMWar VMware IDE CDR10 1.00 /dev/sr0 [2:0:0:0]disk VMware Virtual disk 1.0 /dev/sda [2:0:1:0]disk VMware Virtual disk 1.0 /dev/sdb [2:0:2:0]disk VMware Virtual disk 1.0 /dev/sdc [2:0:3:0]disk VMware Virtual disk 1.0 /dev/sdd# pvsPV VG Fmt Attr PSize PFree/dev/sda2 VolGroup lvm2 a-- 49.51g 0/dev/sdb VolGroup lvm2 a-- 50.00g 6.57g# pvcreate /dev/sdcWriting physical volume data to disk "/dev/sdc"Physical volume "/dev/sdc" successfully created# vgcreate datavg /dev/sdcVolume group "datavg" successfully created# vgsVG #PV #LV #SN Attr VSize VFreeVolGroup 2 2 0 wz--n- 99.50g 6.57gdatavg 1 0 0 wz--n- 5.00g 5.00g# lvcreate datavg -n datalv -L 3gLogical volume "datalv" created# mkfs.ext4 /dev/datavg/datalv mke2fs 1.41.12 (17-May-2010)Filesystem label=OS type: LinuxBlock size=4096 (log=2)Fragment size=4096 (log=2)Stride=0 blocks, Stripe width=0 blocks196608 inodes, 786432 blocks39321 blocks (5.00%) reserved for the super userFirst data block=0Maximum filesystem blocks=80530636824 block groups32768 blocks per group, 32768 fragments per group8192 inodes per groupSuperblock backups stored on blocks: 32768, 98304, 163840, 229376, 294912Writing inode tables: done Creating journal (16384 blocks): doneWriting superblocks and filesystem accounting information: doneThis filesystem will be automatically checked every 27 mounts or180 days, whichever comes first. Use tune2fs -c or -i to override.# mkdir /datafsmount /dev/datavg/datalv /datafs/# df -hFilesystem Size Used Avail Use% Mounted on/dev/mapper/VolGroup-lv_root 88G 3.8G 80G 5% /tmpfs 939M 0 939M 0% /dev/shm/dev/sda1 485M 33M 427M 8% /boot/dev/mapper/datavg-datalv 3.0G 69M 2.8G 3% /datafs

在线扩容文件系统：

# vgs datavg VG #PV #LV #SN Attr VSize VFree datavg 1 1 0 wz--n- 5.00g 2.00g# lvextend -L 4G /dev/datavg/datalv Extending logical volume datalv to 4.00 GiB Logical volume datalv successfully resized[root@esayops ~]# resize2fs /dev/datavg/datalv resize2fs 1.41.12 (17-May-2010)Filesystem at /dev/datavg/datalv is mounted on /datafs; on-line resizing requiredold desc_blocks = 1, new_desc_blocks = 1Performing an on-line resize of /dev/datavg/datalv to 1048576 (4k) blocks.The filesystem on /dev/datavg/datalv is now 1048576 blocks long.# df -hFilesystem Size Used Avail Use% Mounted on/dev/mapper/VolGroup-lv_root 88G 3.8G 80G 5% /tmpfs 939M 0 939M 0% /dev/shm/dev/sda1 485M 33M 427M 8% /boot/dev/mapper/datavg-datalv 4.0G 70M 3.7G 2% /datafs

缩小文件系统：

# lvs LV VG Attr LSize Pool Origin Data% Move Log Copy% Convert lv_root VolGroup -wi-ao-- 89.00g lv_swap VolGroup -wi-ao-- 3.94g datalv datavg -wi-a--- 4.00g # umount /datafs# df -hFilesystem Size Used Avail Use% Mounted on/dev/mapper/VolGroup-lv_root 88G 3.8G 80G 5% /tmpfs 939M 0 939M 0% /dev/shm/dev/sda1 485M 33M 427M 8% /boot# resize2fs /dev/datavg/datalv 2Gresize2fs 1.41.12 (17-May-2010)Please run 'e2fsck -f /dev/datavg/datalv' first.# e2fsck -f /dev/datavg/datalv e2fsck 1.41.12 (17-May-2010)Pass 1: Checking inodes, blocks, and sizesPass 2: Checking directory structurePass 3: Checking directory connectivityPass 4: Checking reference countsPass 5: Checking group summary information/dev/datavg/datalv: 11/262144 files (0.0% non-contiguous), 34382/1048576 blocks# resize2fs /dev/datavg/datalv 2Gresize2fs 1.41.12 (17-May-2010)Resizing the filesystem on /dev/datavg/datalv to 524288 (4k) blocks.The filesystem on /dev/datavg/datalv is now 524288 blocks long.# mount /dev/datavg/datalv /datafs/# df -hFilesystem Size Used Avail Use% Mounted on/dev/mapper/VolGroup-lv_root 88G 3.8G 80G 5% /tmpfs 939M 0 939M 0% /dev/shm/dev/sda1 485M 33M 427M 8% /boot/dev/mapper/datavg-datalv 2.0G 69M 1.9G 4% /datafs

3 在线删除一个共享磁盘LUN

pvremovemultipath -fecho 1 > /sys/block/sdd/device/delete

例如：

[root@esayops /]# lsscsi -g[1:0:0:0] cd/dvd NECVMWar VMware IDE CDR10 1.00 /dev/sr0 /dev/sg0[2:0:0:0] disk VMware Virtual disk 1.0 /dev/sda /dev/sg1[2:0:1:0] disk VMware Virtual disk 1.0 /dev/sdb /dev/sg2[2:0:2:0] disk VMware Virtual disk 1.0 /dev/sdc /dev/sg3[2:0:3:0] disk VMware Virtual disk 1.0 /dev/sdd /dev/sg4

删除一个不用的lun

[root@esayops /]# echo 1 > /sys/block/sdd/device/delete [root@esayops /]# lsscsi [1:0:0:0] cd/dvd NECVMWar VMware IDE CDR10 1.00 /dev/sr0 [2:0:0:0] disk VMware Virtual disk 1.0 /dev/sda [2:0:1:0] disk VMware Virtual disk 1.0 /dev/sdb [2:0:2:0] disk VMware Virtual disk 1.0 /dev/sdc

删除环节：

1. Take the disk offline:cd /sys/block/sdb/deviceecho “offline” >state2. Delete from /devecho 1 >deleteYou can make your own script with the name rmdev ??#!/bin/kshdev=$1[[ ! -d “$dev” ]] && echo “$dev does not exist” && exit 1echo “offline” >/sys/block/”$dev”/device/stateecho 1 >/sys/block/”$dev”/device/delete

八 Linux 运维命令掌握

Linux 下面日常运维使用的命令有太多了，根据个人的情况进行适当的记忆。系统负载：top ，nmon，dstat 等网络：ss，netstat，route，diag，ping，ip，lsof 等io：dd，iostat，fio，nmon，dstat，pvs，lvs，vgs 等内存：free，dstat等进程：ps，lsof 等配置：lscpu，lspci，dmidecode,lsscsi，udev 等设备识别：echo '---' ,rescan-scsi-bus.sh 等诊断：strace,ltrace等比如还有find 如何结合xargs ，tree的使用，lsblk 等等，还有很多很多，需要长期的积累，当然主要使用还是配置查看，LVM设置，网络还有很多成熟的开源和商业产品进行管理，在此不一一列举，感觉可自行百度和google。

目前主流的python，ruby这些语言工具可以根据自身情况选择一个掌握。

九 诊断工具

在日常的运维过程当中，不免要进行所谓的性能或者故障方面问题的诊断，工具和手段包罗万象，在此我列举一些日常使用的一些工具用于参考，

Pstack truss pmap gdb strace strace -o ssh.strace -Ttt -p 1983ipcs 共享内存 ipcrmlddlogsave logsave /tmp/logsave.log ls 纪录命令的输出到文件 lastlog 纪录用户最后的登录时间 lastb显示用户错误登录的纪录logwatch 监控分析日志信息grpck /etc/grouppwck /etc/passwdpidstat pidof iostat -xdm 1 blockdevcurl 访问web 测试 比lynx好一点

123.png

十 网络必杀技

Netcat，SSH 几种隧道转发模式 ，lsof，dstat ，ethtool，iptraf，iperf，diag，route 和多个网卡路由及双网卡绑定技术值得了解，这些都是os层面运维网络方面经常会使用到的几个方面

在日常较为常用的操作就是进行双网卡的绑定，下面分享一个绑定的具体流程：

1、cp /etc/sysconfig/network/ifcfg-eth0 /etc/sysconfig/network/ifcfg-eth0.bakcp /etc/sysconfig/network/ifcfg-eth0 /etc/sysconfig/network/ifcfg-bond02、vi /etc/sysconfig/network/ifcfg-eth0，注释所有（除以下两行内容），并将值修改如下：BOOTPROTO='none'STARTMODE='off'3、cp /etc/sysconfig/network/ifcfg-eth0 /etc/sysconfig/network/ifcfg-eth14、vi /etc/sysconfig/network/ifcfg-bond0，增加或更新如下内容，其他内容可注释：BOOTPROTO='static'IPADDR='192.168.1.100'NETMASK='255.255.255.0'STARTMODE='onboot'BONDING_MASTER='yes'BONDING_MODULE_OPTS='mode=0 miimon=100 use_carrier=0'BONDING_SLAVE0='eth0'BONDING_SLAVE1='eth1'说明：以上配置mode=0为负载均衡模式，如果需要配置成主备模式，BONDING_MODULE_OPTS配置如下：BONDING_MODULE_OPTS='mode=1 miimon=100 use_carrier=0 primary=eth0'5、rcnetwork restart，重启网络服务生效，并进行测试。6、cat /proc/net/bonding/bond0 可以查看bonding的状态。