日期: 2018 年 12 月 4 日

利用rsync断点续传scp中断的文件传输

服务器经常需要备份，但是长时间的下载，难免会出现下载中断的情况。

一直使用scp下载备份好的文件，以前数据量少的时候，直接重新下载就可以了。随着网站上数据越来越多，下载的时间越来越长，完全重新开始变得不现实了。有时候下载到90%以上的时候，失败了，完全重传是没有必要的。

我们只需要下载缺失的部分就好了，幸运的是rsync支持这种需求。

具体的做法是将如下的选项组合传递给rsync，-checksum（文件分块计算校验和，只传输校验和不一致的部分），-in-place（将文件原地替换，因为rsync通常会写一个临时文件，然后移动）和-no-whole-file（告诉rsync不要复制整个文件，而是使用deltas（部分传输））。

例如：

$ rsync -Pa --checksum --inplace --no-whole-file --progress remote.server:file local.file

下面是一个真实的例子：

$ rsync -Pa --checksum --inplace --no-whole-file --progress -e 'ssh -p 22' user@www.mobibrw.com:~/backup/wordpress.20181203.tar.gz wordpress.20181203.tar.gz

receiving incremental file list
sent 19 bytes  received 76 bytes  0.22 bytes/sec
total size is 8379088896  speedup is 88200935.75

整个过程非常的快，比完全重传快多了。

scp命令拷贝文件非常好用，但在拷贝大文件时存在一个问题就是连接经常会断开，此时再使用scp进行拷贝会重新拷贝文件，为了解决这个问题。我们可以使用rsync命令来进行断点续传。命令如下：

$ rsync -P --rsh=ssh xxx.zip 192.168.0.1:~/

为了使用方便可以设置alias:

$ alias rscp="rsync -P --rsh=ssh"

参考链接

macOS Mojave(10.14.1)安装Vulkan依赖的工具链SPIR-V Toolchain

目前在研究学习Vulkan，Vulkan使用SPIR-V工具链进行编译，在macOS Mojave(10.14.1)中使用如下命令安装工具链：

$ brew info glslang
glslang: stable 7.10.2984 (bottled), HEAD
OpenGL and OpenGL ES reference compiler for shading languages
https://www.khronos.org/opengles/sdk/tools/Reference-Compiler/
Not installed
From: https://github.com/Homebrew/homebrew-core/blob/master/Formula/glslang.rb
==> Dependencies
Build: cmake ✘
==> Options
--HEAD
	Install HEAD version
==> Analytics
install: 1,147 (30 days), 1,770 (90 days), 2,664 (365 days)
install_on_request: 383 (30 days), 696 (90 days), 1,537 (365 days)
build_error: 0 (30 days)

$  brew install glslang
==> Downloading https://homebrew.bintray.com/bottles/glslang-7.10.2984.mojave.bo
######################################################################## 100.0%
==> Pouring glslang-7.10.2984.mojave.bottle.tar.gz
?  /usr/local/Cellar/glslang/7.10.2984: 58 files, 6.7MB

$ glslangValidator -v
Glslang Version: 7.10.2984
ESSL Version: OpenGL ES GLSL 3.20 glslang Khronos. 10.2984
GLSL Version: 4.60 glslang Khronos. 10.2984
SPIR-V Version 0x00010300, Revision 1
GLSL.std.450 Version 100, Revision 1
Khronos Tool ID 8
SPIR-V Generator Version 7
GL_KHR_vulkan_glsl version 100
ARB_GL_gl_spirv version 100

但是，需要注意的是，使用HomeBrew安装的版本，缺少部分功能，如果使用"-Os"(代码大小优化)参数的时候，会报告错误，如下：

$ glslangValidator -V -Os
glslangValidator: Error -Os not available; optimizer not linked (use -h for usage)

这是由于代码大小优化部分需要spirv-tools执行，然而HomeBrew编译的版本没有关联spirv-tools导致安装的程序没办法使用这个功能。

如果需要这部分功能，我们只能手动编译安装：

# 移除brew安装的版本
$ brew remove glslang

# 编译安装 glslang
$ git clone https://github.com/KhronosGroup/glslang.git

$ cd glslang

# 目前（2018.12.17）的正式版，最稳定的版本，试过最新的版本，编译部分代码存在问题
$ git checkout 7.10.2984

# 下载 spirv-tools 部分的功能代码
$ python update_glslang_sources.py 

$ mkdir build

$ cd build

$ cmake ..

$ make

$ sudo make install

继续阅读macOS Mojave(10.14.1)安装Vulkan依赖的工具链SPIR-V Toolchain

解决Android Studio 3.2.1中NDK编译代码时候出现警告": warning: conflicts with previous declaration here [-Wattributes]"

在使用Android Studio 3.2.1 结合 NDK r16/r18编译代码时候出现如下警告：

<built-in>: In function 'float abs(float)':
<built-in>: warning: conflicts with previous declaration here [-Wattributes]

关键是出现警告的代码文件中并不一定存在abs函数的调用。

这个警告产生的条件是在编译器中指定了STL，并且指定编译器为GCC，调用的源代码文件中恰好有STL的代码。

类似如下：

externalNativeBuild {
    cmake {
        cppFlags "-DANDROID_ARM_NEON=TRUE", "-DANDROID_TOOLCHAIN=gcc", "-DANDROID_PLATFORM=android-21", "-DANDROID_STL=c++_static"
        abiFilters 'armeabi-v7a'
    }
}

原因在于新版本的NDK r16/r18中，对于GCC部分的适配已经不是非常完善了，已经逐步迁移到CLANG(LLVM)了。导致STL进行编译的时候，会出现一些警告信息。这个警告信息是STL库的警告信息，跟我们自己的代码没有关系。

只需要指定 "-DANDROID_TOOLCHAIN=clang" 即可解决这个问题。

参考链接

NDK r13, -fexceptions -Wall --> warning: conflicts with previous declaration