ubuntu 16.04防止SSH暴力登录攻击

最近观察服务器的认证日志,发现有些国外的IP地址,多次尝试破解服务器的密码进行登录。于是希望能将多次尝试 `SSH` 登录失败的IP阻止掉。

查看日志文件:

$ sudo cat /var/log/auth.log

看到很多如下的日志:

Failed password for root from 123.15.36.218 port 51252 ssh2
reverse mapping checking getaddrinfo for pc0.zz.ha.cn [218.28.79.228] failed – POSSIBLE BREAK-IN ATTEMPT!
Invalid user akkermans from 218.28.79.228
pam_unix(sshd:auth): check pass; user unknown
pam_unix(sshd:auth): authentication failure; logname= uid=0 euid=0 tty=ssh ruser= rhost=218.28.79.228

来统计一下有多少人在暴力破解 `root` 密码

$ sudo grep "Failed password for root" /var/log/auth.log | awk '{print $11}' | sort | uniq -c | sort -nr | more

     16 212.237.47.236
      5 42.120.74.106
      4 ;
      1 80.211.140.131

如果已经禁用了root登录,则看一下暴力猜用户名的统计信息

$ sudo grep "Failed password for invalid user" /var/log/auth.log | awk '{print $13}' | sort | uniq -c | sort -nr | more

    129 212.237.47.236
      3 ;
      1 80.211.140.131

某个人尝试了 `129` 次。为了防范于未然,我们可以做些配置,让服务器更加安全。

下面的三个方法,可以完全使用,也可以部分使用。一般建议使用其中的第一条跟第三条。

1. 修改 `SSH` 端口,禁止`root` 登陆

修改/etc/ssh/sshd_config文件

$ sudo vim /etc/ssh/sshd_config

Port 4484 #一个别人猜不到的端口号
PermitRootLogin no

$ sudo service sshd restart

2. 禁用密码登陆,使用 `RSA` 私钥登录

如果服务器只允许使用私钥登录的,但是如果想在别的电脑上临时SSH上来,又没带私钥文件的情况下,就很麻烦。所以还是保留密码验证登录。不管怎样,这一条还是先列出来

# 在客户端生成密钥
$ ssh-keygen -t rsa

# 把公钥拷贝至服务器
$ ssh-copy-id -i .ssh/id_rsa.pub server

# 也可以手动将.shh/id_rsa.pub拷贝至服务器用户目录的.ssh中,记得修改访问权限
# $ scp .shh/id_rsa.pub server:~/.ssh

# 在服务器中
$ cd ./.ssh/

$ mv id_rsa.pub authorized_keys

$ chmod 400 authorized_keys

$ vim /etc/ssh/sshd_config

RSAAuthentication yes #RSA认证
PubkeyAuthentication yes #开启公钥验证
AuthorizedKeysFile .ssh/authorized_keys #验证文件路径
PasswordAuthentication no #禁止密码认证
PermitEmptyPasswords no #禁止空密码
UsePAM no #禁用PAM


# 最后保存,重启
$ sudo service sshd restart

3. 安装 `denyhosts`

`denyhosts` 是 `Python` 语言写的一个程序,它会分析 `sshd` 的日志文件,当发现重复的失败登录时就会记录 `IP` 到 `/etc/hosts.deny` 文件,从而达到自动屏 `IP` 的功能。现今 `denyhosts` 在各个发行版软件仓库里都有。

注意在 `ubuntu 16.04` 系统上,如果通过远程的 `SSH` 登录到服务器上执行安装命令的话,会由于默认情况下 `RESET_ON_SUCCESS = yes #如果一个ip登陆成功后,失败的登陆计数是否重置为0` 这部分,默认情况下是关闭的。而如果恰好我们又出现自己输入的错误密码错误累计次数超过 `5` 次的情况(即使后面有成功登录的记录也不行),会导致我们自己当前登录的地址也被阻止的情况。这种情况发生之后,会导致我们自己无法控制服务器(这个阻塞是在 `iptables` 层阻塞的,如果要恢复,在 `iptables` 中删除已经添加的记录才可以)。解决办法就是换一个新的 `IP` 地址登录服务器,然后修改 `RESET_ON_SUCCESS` 这个参数,并重启 `denyhosts` 服务。如果是阿里云或者腾讯云的服务器,可以尝试从他们网站上提供的网页版本的 `Shell` 进行操作。

对于 `ubuntu 16.04` 系统,建议使用如下方式进行安装:

#创建执行脚本
$ touch ~/install.sh

#创建执行安装命令,整个过程不中断连续执行,如果不使用脚本,执行到这里,可能SSH就已经被阻断了
#安装完成后,denyhosts的服务就已经开始运行了,此时可能已经设置了iptables了
$ echo "sudo apt-get install denyhosts" >> ~/install.sh 

#创建修改配置文件的命令
$ echo "sudo sed -i 's/^#RESET_ON_SUCCESS/RESET_ON_SUCCESS/g' /etc/denyhosts.conf" >> ~/install.sh

#创建重启服务的命令
$ echo "sudo service denyhosts restart" >> ~/install.sh

#执行我们刚刚的安装脚本
$ sudo bash ~/install.sh

默认配置就能很好的工作,如要个性化设置可以修改 `/etc/denyhosts.conf`

$ sudo vim /etc/denyhosts.conf

SECURE_LOG = /var/log/auth.log #ssh 日志文件,它是根据这个文件来判断的。
HOSTS_DENY = /etc/hosts.deny #控制用户登陆的文件
PURGE_DENY = #过多久后清除已经禁止的,空表示永远不解禁
BLOCK_SERVICE = sshd #禁止的服务名,如还要添加其他服务,只需添加逗号跟上相应的服务即可
DENY_THRESHOLD_INVALID = 5 #允许无效用户失败的次数
DENY_THRESHOLD_VALID = 10 #允许普通用户登陆失败的次数
DENY_THRESHOLD_ROOT = 1 #允许root登陆失败的次数
DENY_THRESHOLD_RESTRICTED = 1
WORK_DIR = /var/lib/denyhosts #运行目录
SUSPICIOUS_LOGIN_REPORT_ALLOWED_HOSTS=YES
HOSTNAME_LOOKUP=YES #是否进行域名反解析
LOCK_FILE = /var/run/denyhosts.pid #程序的进程ID
ADMIN_EMAIL = root@localhost #管理员邮件地址,它会给管理员发邮件
SMTP_HOST = localhost
SMTP_PORT = 25
SMTP_FROM = DenyHosts <nobody@localhost>
SMTP_SUBJECT = DenyHosts Report
AGE_RESET_VALID=5d #用户的登录失败计数会在多久以后重置为0,(h表示小时,d表示天,m表示月,w表示周,y表示年)
AGE_RESET_ROOT=25d
AGE_RESET_RESTRICTED=25d
AGE_RESET_INVALID=10d
RESET_ON_SUCCESS = yes #如果一个ip登陆成功后,失败的登陆计数是否重置为0
DAEMON_LOG = /var/log/denyhosts #自己的日志文件
DAEMON_SLEEP = 30s #当以后台方式运行时,每读一次日志文件的时间间隔。
DAEMON_PURGE = 1h #当以后台方式运行时,清除机制在 HOSTS_DENY 中终止旧条目的时间间隔,这个会影响PURGE_DENY的间隔。

查看 `/etc/hosts.deny` 发现里面已经有 `3` 条记录。

$ sudo cat /etc/hosts.deny | wc -l
3

目前 `ubuntu 16.04` 系统源里的 `denyhosts` 存在一个 `BUG` ,就是系统重启之后,`iptables` 中的拦截设置没有恢复。具体的讨论以及描述,参考Iptables not persistent,代码应该已经增加了,目前还没合并到主分支。

对于 `ubuntu 20.04` 系统,默认源已经不包含 `denyhosts` ,需要使用 `Fail2ban` 替代。参考 How to Install and Configure Fail2ban on Ubuntu 20.04

参考链接


ThinkPad-T440通过U盘启动的方式升级BIOS

最近在ThinkPad-T440上安装最新的Ubuntu 17.04的时候,系统提示如下信息:

Oct 21 00:29:34 ThinkPad-T440 kernel: [ 0.000000] [Firmware Bug]: TSC_DEADLINE disabled due to Errata; please update microcode to version: 0x20 (or later)

通过提示,可以看到是系统的CPU微码部分没有更新到最新,导致系统在执行部分功能的时候发生了异常,升级BIOS可以解决这个问题。

在联想官网上下载最新的BIOS光盘镜像(假定镜像名为BIOSCD.iso之后,发现无法直接通过U盘启动系统。原因是光盘的镜像格式不符合U盘启动需要的格式,需要进行转换之后才可以正常启动系统。

可以通过如下的方式,转换下载到的镜像文件之后,刷新BIOS

$ sudo apt-get install genisoimage

$ geteltorito -o bios.img BIOSCD.iso

#找出U盘挂载的位置,假定是/dev/sdb
$ df 

$ sudo dd if=bios.img of=/dev/sdb

之后,重启系统即可。

继续阅读ThinkPad-T440通过U盘启动的方式升级BIOS

CVR100W升级到最新固件1.0.1.24

家里用的CVR100W路由是几年前买的,当时升级过一次固件,版本到1.0.1.19,但是最近几个月发现出现了无线不稳定的情况,有线访问打开路由器主页也变得比较慢,重启无效。因此怀疑是路由器系统在长时间运行后,这个版本的固件是存在问题的。

去思科官网搜索一下最新固件,竟然看到了1.0.1.24版本的固件,于是下载下来CVR100W_FW_1.0.1.24,各位也可以去思科官网去搜索下载。

目前测试来看,这个版本的固件应该是更稳定,速度也有所提升。
继续阅读CVR100W升级到最新固件1.0.1.24

PSV神秘海域如何调整为中文语言

最近淘宝了一个PSV版本的神秘海域,卖家说是繁体跟英文双语言的,结果插卡后一直是英文,始终找不到中文语言的选项。

网上搜索了以下,才发现是跟机器语言绑定的,如果要使用繁体中文版本,必须把机器的语言从简体中文调整到繁体中文才行。

也就是,在PSV设置里将系统语言设置为繁体中文,再进入游戏里就可以了。

参考链接


psv神秘海域怎么调中文

使用graphviz绘制流程图

前言

日常的开发工作中,为代码添加注释是代码可维护性的一个重要方面,但是仅仅提供注释是不够的,特别是当系统功能越来越复杂,涉及到的模块越来越多的时候,仅仅靠代码就很难从宏观的层次去理解。因此我们需要图例的支持,图例不仅仅包含功能之间的交互,也可以包含复杂的数据结构的示意图,数据流向等。

但是,常用的UML建模工具,如Visio等都略显复杂,且体积庞大。对于开发人员,特别是后台开发人员来说,命令行,脚本才是最友好的,而图形界面会很大程度的限制开发效率。相对于鼠标,键盘才是开发人员最好的朋友。

graphviz简介

本文介绍一个高效而简洁的绘图工具graphviz。graphviz是贝尔实验室开发的一个开源的工具包,它使用一个特定的DSL(领域特定语言): dot作为脚本语言,然后使用布局引擎来解析此脚本,并完成自动布局。graphviz提供丰富的导出格式,如常用的图片格式,SVG,PDF格式等。

继续阅读使用graphviz绘制流程图

Ubuntu 16.04下同步github中fork出来的分支

githubfork出一些感觉比较好的项目,已经做了部分修改,由于某些原因,无法通过pull request合并到原作者的分支,但是想把原项目的最近更新代码合并进来,可以通过git fetch原始项目到本地,通过git merge的进行代码合并。

fork出来的pyseeta项目为例

  • 检出自己的代码
$ git checkout https://github.com/wangqiang1588/pyseeta.git
  • 把原作者项目地址添加到刚刚检出的项目
$ git remote add upstream https://github.com/TuXiaokang/pyseeta.git
  • 从原作者仓库获取到分支,及相关的提交信息
$ git fetch upstream
  • 切换到想合并代码的分支
$ git checkout master
  • 代码合并,并解决冲突
$ git merge upstream/master
  • 提交合并后的代码
$ git commit -m "merge ......."
  • 推送提交到远程服务器
$ git push

参考链接


如何同步 Github fork 出来的分支

Ubuntu 16.04 LTS通过SSH2更新WordPress及其插件

最近服务器升级到了Ubuntu 16.04 LTS,结果遇到了与Ubuntu 12.04通过SFTP更新 WordPress相似的问题,界面中没有出现SSH的选项,只不过目前(2017.06.04)最新版本的WordPress(4.7.5)一直提示的是"无法连接到服务器",原因依旧是缺少PHPSSH支持库,总结一下解决方法如下:

$ sudo apt-get install php-ssh2
$ sudo phpenmod ssh2

#如果使用PHP-FPM模块处理PHP协议,则重启PHP-FPM
$ sudo service php7.0-fpm restart

#如果使用Apache2自身的模块处理PHP协议,则重启Apache2
$ sudo service apache2 restart

如果更新或者删除插件的时候提示 "未能找到WordPress插件目录",则参照
Ubuntu 14.04系统WordPress 4.5升级到PHP7之后执行插件升级报错“无法定位WordPress内容目录(wp-content)”中的方法修改即可。

目前(2017.06.09)依然存在的问题是更新插件的时候,提示拷贝出错。查看系统日志

$ cat /var/log/apache2/error.log | grep error

可以看到如下错误信息

'PHP message: PHP Warning:  file_put_contents(ssh2.sftp://Resource id #85/var/www/wordpress/.maintenance): failed to open stream: operation failed in /var/www/wordpress/wp-admin/includes/class-wp-filesystem-ssh2.php on line 253\nPHP message: PHP Warning:  file_put_contents(ssh2.sftp://Resource id #90/var/www/wordpress/wp-content/upgrade/wp-statistics.12.0.7-HJk6Bj/wp-statistics/ajax.php): failed to open stream: operation failed in /var/www/wordpress/wp-admin/includes/class-wp-filesystem-ssh2.php on line 253\n', referer: https://www.mobibrw.com/wp-admin/plugins.php

这个问题属于php-ssh2自身的BUG导致的,问题已经确认并修复,但是还没合并到Ubuntu 16.04 LTS所属的分支上。

目前的解决方法是单独安装Ubuntu 17.04系统上已经编译好的对应系统的deb包,然后手工安装更新。

详细的版本信息可以从Ubuntu php-ssh2 package查询各个系统版本上的关于php-ssh2的包信息。

比如本服务器上更新的命令示例如下:

$ sudo apt-get install php-ssh2

$ wget https://launchpad.net/ubuntu/+archive/primary/+files/php-ssh2_1.0+0.13-2_amd64.deb

$ sudo dpkg -i php-ssh2_1.0+0.13-2_amd64.deb 
$ rm -rf php-ssh2_1.0+0.13-2_amd64.deb

#如果使用PHP-FPM模块处理PHP协议,则重启PHP-FPM
$ sudo service php7.0-fpm restart

#如果使用Apache2自身的模块处理PHP协议,则重启Apache2
$ sudo service apache2 restart

如果外网访问不畅通,也可以从本站下载,示例脚本如下:

$ sudo apt-get install php-ssh2
$ wget https://www.mobibrw.com/wp-content/uploads/2017/06/php-ssh2_1.00.13-2_amd64.deb_.zip
$ unzip php-ssh2_1.00.13-2_amd64.deb_.zip

$ sudo dpkg -i php-ssh2_1.0+0.13-2_amd64.deb 
$ rm -rf php-ssh2_1.0+0.13-2_amd64.deb
$ rm -rf php-ssh2_1.00.13-2_amd64.deb_.zip

#如果使用PHP-FPM模块处理PHP协议,则重启PHP-FPM
$ sudo service php7.0-fpm restart

#如果使用Apache2自身的模块处理PHP协议,则重启Apache2
$ sudo service apache2 restart

参考链接


Hollow导读

本文大部分内容来源于Hollow官方文档

开发过程中会遇到这样的数据:体量算不上“大数据”,数据在变化,幅度也不大。处理这类数据的时候,一般是把数据放到内存中(容器、json、xml、RDBMS),隔断时间更新一次。

这样处理有很多局限性

  • 内存限制
  • 更新频率不能过快,造成延迟
  • 频繁的读写造成I/O、GC等

世界陷入水火,一般的套路现在主角就该出场了

Netflix推出了Hollow,它是数据的利剑,内存的盾牌,它将不JSON、不XML、少GC、高效率的解决问题,总而言之,他是人民的大救星,下面请一起走进科学,走进Hollow的内心世界。

Hollow致力于解决内存数据问题,处理的量级(将数据转为JSON)一般在GB级别,TB/PB就爱莫能助了。

快照-增量

生产的数据有两种类型,Snapshot、Delta,即全量、增量数据。大多数情况下,我们处理的是增量数据。

生产-消费者模式

一个生产者服务多个消费者,生产者生产快照和增量数据更新至BLOB(二进制大数据)文件,消费者在内存中使用数据,只读属性保证了消费的高效。生产文件到内存对开发者是透明的。

数据模型

数据模型基于一个POJO,又相当于数据库的一行。开发者只需要定义一个POJO,Hollow的API-Generator会生产这个POJO相应的消费文件。

它适用于只读数据、单个生产者、可能多个消费者的情形。Hollow实现持久化的唯一机制是利用BLOB存储,它只是一个文件存储,可能是S3、NFS、甚至一台FTP服务器。启动的时候,消费者们读取整个数据集的快照,并将数据集引导到内存中。通过增量的方法,可以保证内存中的数据集是最新的。对于每个消费者,内存中的数据备份是临时性的,如果消费者重新启动,需要从BLOB存储中重新加载快照。

实际上BLOB快照文件的格式很简单,它在很大程度上和在内存布局的结构相同,因此数据初始化主要是将BLOB的内容直接复制到内存中,这一步可以快速完成,确保了初始化的时间很短。