【言語処理100本ノック解いてみた】 第5章：係り受け解析 No.40~No.44

#ai.jaテキストのダウンロードと解凍
!wget https://nlp100.github.io/data/ai.ja.zip
!unzip ai.ja.zip

#Mecabのインストール
!apt install mecab libmecab-dev mecab-ipadic-utf8

#CRF++のインストール
import os
filename_crfpp = 'crfpp.tar.gz'
!wget "https://drive.google.com/uc?export=download&id=0B4y35FiV1wh7QVR6VXJ5dWExSTQ" \
    -O $filename_crfpp
!tar zxvf $filename_crfpp
%cd CRF++-0.58
!./configure
!make
!make install
%cd ..
os.environ['LD_LIBRARY_PATH'] += ':/usr/local/lib' 

#CaboChaのインストール
FILE_ID = "0B4y35FiV1wh7SDd1Q1dUQkZQaUU"
FILE_NAME = "cabocha.tar.bz2"
!wget --load-cookies /tmp/cookies.txt "https://docs.google.com/uc?export=download&confirm=\
$(wget --quiet --save-cookies /tmp/cookies.txt \
  --keep-session-cookies --no-check-certificate 'https://docs.google.com/uc?export=download&id=$FILE_ID' -O- \
  | sed -rn 's/.*confirm=([0-9A-Za-z_]+).*/\1\n/p')&id=$FILE_ID" -O $FILE_NAME && rm -rf /tmp/cookies.txt
!tar -xvf cabocha.tar.bz2
%cd cabocha-0.69
!./configure --with-mecab-config=`which mecab-config` --with-charset=UTF8
!make
!make check
!make install
%cd ..
!cabocha --version

#係り受け解析
%cd /content
!cat ai.ja.txt | cabocha -f1 > ai.ja.txt.parsed
!head -10 ./ai.ja.txt.parsed

* 0 -1D 1/1 0.000000
人工	名詞,一般,*,*,*,*,人工,ジンコウ,ジンコー
知能	名詞,一般,*,*,*,*,知能,チノウ,チノー
EOS
EOS
* 0 17D 1/1 0.388993
人工	名詞,一般,*,*,*,*,人工,ジンコウ,ジンコー
知能	名詞,一般,*,*,*,*,知能,チノウ,チノー
* 1 17D 2/3 0.613549
（	記号,括弧開,*,*,*,*,（,（,（

class Morph:
    def __init__(self, morph):
        surface,attr = morph.split("\t")
        attr = attr.split(",")
        self.surface = surface
        self.base = attr[6]
        self.pos = attr[0]
        self.pos1 = attr[1]
        
with open("ai.ja.txt.parsed", "r") as f:
    blocks = f.read().split("EOS\n")

sentence_morphs = []
morphs = []
for block in blocks:
    block = block.split("\n")
    if block[0] == "" or len(block) ==0:
        continue
    for m in block:
        if m =="" or m[0]=="*":
            continue
        morphs.append(Morph(m))
    sentence_morphs.append(morphs)
    morphs = []
for i in sentence_morphs[1]:
    print(vars(i))

{'surface': '人工', 'base': '人工', 'pos': '名詞', 'pos1': '一般'}
{'surface': '知能', 'base': '知能', 'pos': '名詞', 'pos1': '一般'}
{'surface': '（', 'base': '（', 'pos': '記号', 'pos1': '括弧開'}
{'surface': 'じん', 'base': 'じん', 'pos': '名詞', 'pos1': '一般'}
{'surface': 'こうち', 'base': 'こうち', 'pos': '名詞', 'pos1': '一般'}
{'surface': 'のう', 'base': 'のう', 'pos': '助詞', 'pos1': '終助詞'}
・・・ 

#Morphオブジェクトの作成
class Morph:
    def __init__(self, morph):
        surface,attr = morph.split("\t")
        attr = attr.split(",")
        self.surface = surface
        self.base = attr[6]
        self.pos = attr[0]
        self.pos1 = attr[1]

#Chunkオブジェクトの作成
class Chunk:
    def __init__(self, morphs, dst):
        self.morphs = morphs
        self.dst = dst
        self.srcs = []

sentence_chunk = []
chunk_list = []
morphs = []
for s in blocks:
    block = s.split("\n")
    if block[0] == "" or len(block) ==0:
        continue
    for b in block:
        if b =="":
            continue
        #blockの先頭が*の時，係り受けの内容が記述
        elif b[0] == "*":
            if len(morphs) > 0:
                chunk_list.append(Chunk(morphs,dst))
            #chunk_id, 係り先の番号, 主辞（文節の中心となる単語）/機能語（助詞など）の位置，　Score
            dep = b.split(" ")
            dst = dep[2][:-1]
            morphs = []
            continue
        morphs.append(Morph(b))
    chunk_list.append(Chunk(morphs, dst))

    #一文分のChunkに対して係り元の文節を追加
    for i, c in enumerate(chunk_list):
        if c.dst != "-1":
            chunk_list[int(c.dst)].srcs.append(i)
    sentence_chunk.append(chunk_list)
    chunk_list = []
    morphs = []
for c in sentence_chunk[1]:
    print([m.surface for m in c.morphs], c.dst, c.srcs)

['人工', '知能'] 17 []
['（', 'じん', 'こうち', 'のう', '、', '、'] 17 []
['AI'] 3 []
['〈', 'エーアイ', '〉', '）', 'と', 'は', '、'] 17 [2]
['「', '『', '計算'] 5 []
['（', '）', '』', 'という'] 9 [4]
['概念', 'と'] 9 []
・・・ 

#抽出対象の文章のリスト番号を指定
n = 1
for c in sentence_chunk[n]:
    print("".join([m.surface if m.pos != '記号' else '' for m in c.morphs])+"\t"+
          "".join([m.surface if m.pos != '記号' else '' for m in sentence_chunk[n][int(c.dst)].morphs]))

人工知能	語
じんこうちのう	語
AI	エーアイとは
エーアイとは	語
計算	という
という	道具を
概念と	道具を
・・・ 

#抽出対象の文章のリスト番号を指定
n = 1
for c in sentence_chunk[n]:
    src_phrase_surface = [m.surface if m.pos != '記号' else '' for m in c.morphs]
    src_phrase_pos =  [m.pos if m.pos != '記号' else '' for m in c.morphs]
    dst_phrase_surface = [m.surface if m.pos != '記号' else '' for m in sentence_chunk[n][int(c.dst)].morphs]
    dst_phrase_pos =  [m.pos if m.pos != '記号' else '' for m in sentence_chunk[n][int(c.dst)].morphs]
    if "名詞" in src_phrase_pos and "動詞" in dst_phrase_pos:
      print("".join(src_phrase_surface)+"\t"+"".join(dst_phrase_surface))  

道具を	用いて
知能を	研究する
一分野を	指す
知的行動を	代わって
人間に	代わって
コンピューターに	行わせる
研究分野とも	される
・・・ 

import graphviz

#Graphvizのオブジェクトを作成
g = graphviz.Graph(format='png', filename='dependency')
g.attr('node', fontname='IPAGothic')

n = 1
for c in sentence_chunk[n]:
    src_phrase_surface = [m.surface if m.pos != '記号' else '' for m in c.morphs]
    g.node("".join(src_phrase_surface))

for c in sentence_chunk[n]:
    src_phrase_surface = [m.surface if m.pos != '記号' else '' for m in c.morphs]
    dst_phrase_surface = [m.surface if m.pos != '記号' else '' for m in sentence_chunk[n][int(c.dst)].morphs]
    g.edge("".join(src_phrase_surface), "".join(dst_phrase_surface))

# 保存
g.view()