月度归档： 2019 年 12 月

1. Text Recognition Data Generator

Github地址： https://github.com/Belval/TextRecognitionDataGenerator

官方文档：https://textrecognitiondatagenerator.readthedocs.io/en/latest/index.html

安装：

# pip 安装，中文不建议
$ pip install trdg -i https://pypi.mirrors.ustc.edu.cn/simple/

# git clone
$ git clone https://github.com/Belval/TextRecognitionDataGenerator

以下根据个人需要：

git clone 解压后进入 /trdg/bin 安装目录：

$ mv trdg ../run.py

$ cd ..

$ vim run.py
# 删除 run.py中的 from trdg import， 全部改为 import

$ vim data_generator.py
# 同上，删除此文件首部的 from trdg import, 改为 import

• pictures/ 文件夹内存放背景图，可以多添加一些图片用于丰富生成的合成图片；
• fonts/ 文件夹内 cn/ en/分别存放中、英文字体文件（.ttf格式），可以自己在网上下载不同ttf文件放入文件夹内；
• string_generator.py 定义了图片上的文本如何选取，可以自行定义（博主在Centos7服务器上中文好像一直有乱码问题，只能修改string 的编码）
• data_generator.py 是按照给定参数生成图片，最好在里面加上 try / except，大规模合成数据万一有一个case报错就要重新生成，很麻烦，相应的在 bin/trdg 文件中修改相应的生成 labels.txt 的代码，保证一致（这里也可能涉及到保存的中文文本乱码，如果是的话也要修改string的编解码）

生成命令（示例，具体见官方文档）：

$ python trdg -l cn -c 1000000 -d 1 -rs -b 3 -w 20 -bl 1 -rbl -tc '#000000,#888888' -f 64 -t 32 --output_dir 'sin-100w'

• -l cn: language 为中文
• -c 1000000: 生成1000000张图
• -d 1: 文字按正弦函数曲线分布（0为不弯曲，1为sin，2为cos）
• -rs: 图片文字随机选取；
• -b 3: 背景图像从pictures文件夹中的图像上随机截取（0为高斯白噪声背景，1为白色背景，2为quasicrystal，3为自定义图片）
• -bl 1 -rbl: 随机模糊，1为模糊的kernel size
• -tc '#000000, #888888': 颜色变化区间
• -f 64: 水平分布文字图像的高（像素64）
• --output_dir 'sin-100w': 输出文件夹

2. Text Render

Github地址：https://github.com/Sanster/text_renderer

参见 github 的 README.md.

3. SynthText

Github地址： https://github.com/ankush-me/SynthText

参考链接

---

• OCR-文本图像合成工具
• OCR训练数据生成方法
• GAN+文本生成：让文本以假乱真
• GAN之根据文本描述生成图像
• SynthText
• 文字识别（四）--大批量生成文字训练集

pip国内的一些镜像

python国内源

阿里云 https://mirrors.aliyun.com/pypi/simple/
中国科技大学 https://pypi.mirrors.ustc.edu.cn/simple/
豆瓣(douban) http://pypi.douban.com/simple/
清华大学 https://pypi.tuna.tsinghua.edu.cn/simple/

修改源

临时使用：
可以在使用pip的时候在后面加上-i参数，指定pip源为国内源

eg: pip install scrapy -i https://pypi.tuna.tsinghua.edu.cn/simple

永久修改：
Linux/macOS:
修改 `~/.pip/pip.conf` (没有就创建一个)， 内容如下：

[global]
index-url = https://pypi.tuna.tsinghua.edu.cn/simple

对于当前用户不是`root`，而有时候需要使用`sudo`安装的情况，上述设置是无效的。需要在`root`用户目录也设置一下，一般情况下配置文件默认是`/root/.pip/pip.conf`。

Windows:
直接在user目录中创建一个pip目录，如：C:\Users\xx\pip，新建文件pip.ini，内容如下

[global]
index-url = https://pypi.tuna.tsinghua.edu.cn/simple

参考链接

---

更换pip源到国内镜像

在命令行运行：

# Python2
$ pip install requests-html

# Python3
# pip3 install requests-html

即可安装该模块。

例子如下：

#coding=utf-8
from bs4 import BeautifulSoup
import requests
from requests_html import HTMLSession
 
#使用requests抓取页面内容，并将响应赋值给page变量
html = requests.get('https://xcx.xzlzq.net/#/liftDetail?registerCode=31103301042010020002')
 
session = HTMLSession()
first_page = session.get('https://xcx.xzlzq.net/#/liftDetail?registerCode=31103301042010020002')
first_page.html.render(sleep=5)

#使用content属性获取页面的源页面
#使用BeautifulSoap解析，内容传递到BeautifulSoap类
soup = BeautifulSoup(first_page.html.html,'lxml')
links = soup.find_all('div',class_='content')
 
#link的内容就是div，我们取它的span内容就是我们需要段子的内容
for link in links:
    print(link.span.get_text())

参考链接

---

• 在用BeautifulSoup解析HTML前对其中以JavaScript渲染部分的处理
• 【Python】BeautifulSoap抓取并解析网页流程