word2vec是Google于2013年开源推出的一个用于获取词向量的工具包，关于它的介绍，可以先看词向量工具word2vec的学习。
获取和处理中文语料
维基百科的中文语料库质量高、领域广泛而且开放，非常适合作为语料用来训练。相关链接：
- https://dumps.wikimedia.org/
- https://dumps.wikimedia.org/zhwiki/
- https://dumps.wikimedia.org/zhwiki/latest/zhwiki-latest-pages-articles.xml.bz2
有了语料后我们需要将其提取出来，因为wiki百科中的数据是以XML格式组织起来的，所以我们需要寻求些方法。查询之后发现有两种主要的方式：gensim的wikicorpus库，以及wikipedia Extractor。
WikiExtractor
Wikipedia Extractor是一个用Python写的维基百科抽取器，使用非常方便。下载之后直接使用这条命令即可完成抽取，运行时间很快。执行以下命令。
相关链接：
相关命令：
$ git clone https://github.com/attardi/wikiextractor.git $ python ./wikiextractor/WikiExtractor.py -b 2048M -o extracted zhwiki-latest-pages-articles.xml.bz2
相关说明：
- -b 2048M表示的是以128M为单位进行切分，默认是1M。
- extracted：需要将提取的文件存放的路径；
- zhwiki-latest-pages-articles.xml.bz2：需要进行提取的.bz2文件的路径
二次处理：
通过Wikipedia Extractor处理时会将一些特殊标记的内容去除了，但有时这些并不影响我们的使用场景，所以只要把抽取出来的标签和一些空括号、「」、『』、空书名号等去除掉即可。
import re
import sys
import codecs
def filte(input_file):
p1 = re.compile('[（\(][，；。？！\s]*[）\)]')
p2 = re.compile('《》')
p3 = re.compile('「')
p4 = re.compile('」')
p5 = re.compile('<doc (.*)>')
p6 = re.compile('</doc>')
p7 = re.compile('『』')
p8 = re.compile('『')
p9 = re.compile('』')
p10 = re.compile('-\{.*?(zh-hans|zh-cn):([^;]*?)(;.*?)?\}-')
outfile = codecs.open('std_' + input_file, 'w', 'utf-8')
with codecs.open(input_file, 'r', 'utf-8') as myfile:
for line in myfile:
line = p1.sub('', line)
line = p2.sub('', line)
line = p3.sub('“', line)
line = p4.sub('”', line)
line = p5.sub('', line)
line = p6.sub('', line)
line = p7.sub('', line)
line = p8.sub('“', line)
line = p9.sub('”', line)
line = p10.sub('', line)
outfile.write(line)
outfile.close()
if __name__ == '__main__':
input_file = sys.argv[1]
filte(input_file)
保存后执行 python filte.py wiki_00 即可进行二次处理。
gensim的wikicorpus库
转化程序：
# -*- coding: utf-8 -*-
from gensim.corpora import WikiCorpus
import os
class Config:
data_path = '/home/qw/CodeHub/Word2Vec/zhwiki'
zhwiki_bz2 = 'zhwiki-latest-pages-articles.xml.bz2'
zhwiki_raw = 'zhwiki_raw.txt'
def data_process(_config):
i = 0
output = open(os.path.join(_config.data_path, _config.zhwiki_raw), 'w')
wiki = WikiCorpus(os.path.join(_config.data_path, _config.zhwiki_bz2), lemmatize=False, dictionary={})
for text in wiki.get_texts():
output.write(' '.join(text) + '\n')
i += 1
if i % 10000 == 0:
print('Saved ' + str(i) + ' articles')
output.close()
print('Finished Saved ' + str(i) + ' articles')
config = Config()
data_process(config)
化繁为简
维基百科的中文数据是繁简混杂的，里面包含大陆简体、台湾繁体、港澳繁体等多种不同的数据。有时候在一篇文章的不同段落间也会使用不同的繁简字。这里使用opencc来进行转换。
$ opencc -i zhwiki_raw.txt -o zhswiki_raw.txt -c t2s.json
中文分词
这里直接使用jieba分词的命令行进行处理：
$ python -m jieba -d " " ./zhswiki_raw.txt >./zhswiki_cut.txt
转换成 utf-8 格式
非 UTF-8 字符会被删除
$ iconv -c -t UTF-8 -o zhwiki.utf8.txt zhwiki.zhs.txt
