日本語文書処理の実験

日本語に対してword2vec, doc2vec等をやってみる。

実験ノート

計算環境

以下くらいの環境を想定

GCP VM: n1-highmem-2 (2 vCPUs, 13 GB memory)
Disk: 256 GB
OS: Ubuntu Linux 16.04

内容

インストールされるもの

Ubuntu 16.04
vim, wget, git, nkf
g++
Python2, Python3, pip, Cython
gensim (word2vec, doc2vec), pattern
MeCab
JUMAN, JUMAN++, KNP
fastText

注

Python3だとgensimがslow modeになり、patternはエラー

git clone

git clone git@github.com:vochicong/doc2vec.git
cd doc2vec

以下、３つの方法が選べる。

build済みのDocker imageを利用
Docker imageを手元でbuild
DockerではなくVMにインストール

build済みのDocker imageを利用

build済みのDocker imageをpullして、containerを起動

必要なもの

docker, docker-compose

実行

docker-compose up

Docker内でコマンドを打つなら

docker-compose exec nlp-doc2vec bash

Build Docker image using ansible-container

手元でansible-containerを使ってDocker imageをbuildする。

必要なもの

docker, docker-compose
ansible-container

実行

buildしてvochicong/nlp-doc2vecへpush

ansible-container build
docker tag nlp-doc2vec:latest vochicong/nlp-doc2vec:latest
ansible-container push --push-to docker
docker push vochicong/nlp-doc2vec:latest # push tag latest

Build Docker image using docker-compose

手元でdocker-composeを使ってDocker imageをbuildする。

必要なもの

docker, docker-compose

実行

buildしてvochicong/nlp-doc2vecへpush

docker-compose build
docker-compose push

VMにインストール

Dockerではなく、VM(Ubuntu 16.04想定)に環境をインストールする。

必要なもの

ansible

実行

初回、データダウンロードを含めて実行

sudo mkdir -p /workspace/download
sudo chown -R `whoami` /workspace
ansible-playbook ansible-playbook.yml  --skip-tags="clean"

2回目以降は、データダウンロードが不要

ansible-playbook ansible-playbook.yml  --skip-tags="download,clean"

ダウロードしたデータを削除する場合

ansible-playbook ansible-playbook.yml  --tags="clean"
rm -Rf /workspace/download/*