【言語処理100本ノック解いてみた】 第3章：正規表現 No.25~No.29

#Wikiデータのダウンロードとunzipによる解凍
!wget https://nlp100.github.io/data/jawiki-country.json.gz
!gunzip jawiki-country.json.gz

import json
filepath = "/content/jawiki-country.json"
# ファイルを開く
with open(filepath) as f:
    for line in f:
        json_data = json.loads(line)
        if json_data["title"] == "イギリス":
            uk_text = json_data["text"]

basic_info = re.findall(r'^\{\{基礎情報 国\n(.+?)$\n\}\}', uk_text, re.MULTILINE+re.DOTALL)
print(basic_info)
#辞書オブジェクトの格納
object_dict = dict(re.findall(r'^\|(.+?)\s*=\s*(.+?)(?:(?=\n\|)|(?=$))', basic_info[0], re.MULTILINE+re.DOTALL))
for k, v in object_dict.items():
    print(k,v)

#出力(一部省略)
['|略名  =イギリス\n|日本語国名 = グレートブリテン及び北アイルランド連合王国\n|公式国名 = {{lang|en|United Kingdom of Great Britain and Northern Ireland}}・・・|注記 = ']
略名 イギリス
日本語国名 グレートブリテン及び北アイルランド連合王国
公式国名 {{lang|en|United Kingdom of Great Britain and Northern Ireland}}英語以外での正式国名:
　　・
　　・
　　・
国際電話番号 44
注記 

#'が二つ以上五つ以下の場合，対象箇所の強調を削除
for k,v in object_dict.items():
    before = v
    object_dict[k] = re.sub(r'\'{2,5}', '', v)
    if before != object_dict[k]:
        print(before)
        print(object_dict[k])
        print("---"*20)

#出力
[[女王陛下万歳|{{lang|en|God Save the Queen}}]]{{en icon}}
''神よ女王を護り賜え''
{{center|[[ファイル:United States Navy Band - God Save the Queen.ogg]]}}
[[女王陛下万歳|{{lang|en|God Save the Queen}}]]{{en icon}}
神よ女王を護り賜え
{{center|[[ファイル:United States Navy Band - God Save the Queen.ogg]]}}
------------------------------------------------------------
現在の国号「'''グレートブリテン及び北アイルランド連合王国'''」に変更
現在の国号「グレートブリテン及び北アイルランド連合王国」に変更
------------------------------------------------------------

#内部リンクを削除する
for k,v in object_dict.items():
    before = v
    object_dict[k] = re.sub(r'\[\[(?:[^|]*?\|)??([^|]*?)\]\]', r'\1', v)
    if object_dict[k] != before:        
        print(before)
        print(object_dict[k])
        print("---"*20)

#出力(一部)
（[[イギリスの国章|国章]]）
（国章）
------------------------------------------------------------
{{lang|fr|[[Dieu et mon droit]]}}
（[[フランス語]]:[[Dieu et mon droit|神と我が権利]]）
{{lang|fr|Dieu et mon droit}}
（フランス語:神と我が権利）
------------------------------------------------------------
[[女王陛下万歳|{{lang|en|God Save the Queen}}]]{{en icon}}
神よ女王を護り賜え
{{center|[[ファイル:United States Navy Band - God Save the Queen.ogg]]}}
[[女王陛下万歳|{{lang|en|God Save the Queen}}]]{{en icon}}
神よ女王を護り賜え
{{center|ファイル:United States Navy Band - God Save the Queen.ogg}}
------------------------------------------------------------
[[英語]]
英語
------------------------------------------------------------
[[ロンドン]]（事実上）
ロンドン（事実上）
------------------------------------------------------------
[[イギリスの君主|女王]]
女王
                      　 ・
                       　・
                       　・

for k,v in object_dict.items():
    before = v
    #URLを削除する
    #[]で囲われているURLの削除
    v = re.sub(r'\[https?://.+\]', '', v)
    #URLに使われることのない文字orタブ・改行に達する部分まで削除
    v = re.sub(r'https?://[^\{\}\|\\\^\t\n]+', '', v)
    #HTMLタグを削除
    v = re.sub(r'<.*>(.+)<\/.+>', r'\1', v)
    v = re.sub(r'<.*>', '', v)
    #langテンプレートの削除
    v = re.sub(r'\{\{lang\|.+?\|(.+?)\}\}', r'\1' ,v)
    #テンプレートの削除(ファイルなどはいらないと判断したのでテンプレート自体を削除しています．)
    v = re.sub(r'\{\{.*?\}\}', '' ,v)
    #一部内部リンクが再度出てきたので
    v = re.sub(r'\[\[(?:[^|]*?\|)??([^|]*?)\]\]', r'\1', v)
    object_dict[k] = v
    if before != object_dict[k]:        
        print(before)
        print(object_dict[k])
        print("---"*20)

#出力
{{lang|en|United Kingdom of Great Britain and Northern Ireland}}英語以外での正式国名:
United Kingdom of Great Britain and Northern Ireland
------------------------------------------------------------
{{lang|fr|Dieu et mon droit}}
（フランス語:神と我が権利）
Dieu et mon droit（フランス語:神と我が権利）
------------------------------------------------------------
[[女王陛下万歳|{{lang|en|God Save the Queen}}]]{{en icon}}
神よ女王を護り賜え
{{center|ファイル:United States Navy Band - God Save the Queen.ogg}}
God Save the Queen
------------------------------------------------------------
{{仮リンク|リンゼイ・ホイル|en|Lindsay Hoyle}}

------------------------------------------------------------
                          ・
                          ・
                          ・

#出力
{'GDP/人': '36,727',
 'GDP値': '2兆3162億',
 'GDP値MER': '2兆4337億',
 'GDP値元': '1兆5478億',
 'GDP統計年': '2012',
 'GDP統計年MER': '2012',
 'GDP統計年元': '2012',
　　　　　　…
}

import requests
uk_flag = object_dict["国旗画像"]
uk_flag = uk_flag.replace(" ", "_")
print(uk_flag)
S = requests.Session()
URL = "https://www.mediawiki.org/w/api.php"

PARAMS = {
    "action": "query",
    "format": "json",
    "prop": "imageinfo",
    "iiprop":"url",
    "titles": "File:"+uk_flag
}

R = S.get(url=URL, params=PARAMS)
DATA = R.json()
print(DATA)
uk_flag_url = DATA["query"]["pages"]["-1"]["imageinfo"][0]["url"]
print(uk_flag_url)

#出力
Flag_of_the_United_Kingdom.svg
{'continue': {'iistart': '2019-09-10T16:52:58Z', 'continue': '||'}, 'query': {'normalized': [{'from': 'File:Flag_of_the_United_Kingdom.svg', 'to': 'File:Flag of the United Kingdom.svg'}], 'pages': {'-1': {'ns': 6, 'title': 'File:Flag of the United Kingdom.svg', 'missing': '', 'known': '', 'imagerepository': 'shared', 'imageinfo': [{'url': 'https://upload.wikimedia.org/wikipedia/commons/a/ae/Flag_of_the_United_Kingdom.svg', 'descriptionurl': 'https://commons.wikimedia.org/wiki/File:Flag_of_the_United_Kingdom.svg', 'descriptionshorturl': 'https://commons.wikimedia.org/w/index.php?curid=347935'}]}}}}
https://upload.wikimedia.org/wikipedia/commons/a/ae/Flag_of_the_United_Kingdom.svg