【言語処理100本ノック解いてみた】 第3章：正規表現 No.20~No.24

#Wikiデータのダウンロードとunzipによる解凍
!wget https://nlp100.github.io/data/jawiki-country.json.gz
!gunzip jawiki-country.json.gz

import json
filepath = "/content/jawiki-country.json"
# ファイルを開く
with open(filepath) as f:
    for line in f:
        json_data = json.loads(line)
        if json_data["title"] == "イギリス":
            uk_text = json_data["text"]
print(uk_text)

#出力
{{redirect|UK}}
{{redirect|英国|春秋時代の諸侯国|英 (春秋)}}
{{Otheruses|ヨーロッパの国|長崎県・熊本県の郷土料理|いぎりす}}
{{基礎情報 国
|略名  =イギリス
　　　・
　　　・
　　　・
[[Category:現存する君主国]]
[[Category:島国]]
[[Category:1801年に成立した国家・領域]]

import re
category_text = re.findall(r'(\[\[Category:.+\]\])',uk_text)
category_text

#出力
['[[Category:イギリス|*]]',
 '[[Category:イギリス連邦加盟国]]',
 '[[Category:英連邦王国|*]]',
 '[[Category:G8加盟国]]',
 '[[Category:欧州連合加盟国|元]]',
 '[[Category:海洋国家]]',
 '[[Category:現存する君主国]]',
 '[[Category:島国]]',
 '[[Category:1801年に成立した国家・領域]]']

import re
category = re.findall(r'\[\[Category:(.+)\]\]', uk_text)
print(category)
for i in range(len(category)):
    category[i] = re.sub(r'\|\*', "", category[i])
print(category)

#出力
['イギリス|*', 'イギリス連邦加盟国', '英連邦王国|*', 'G8加盟国', '欧州連合加盟国|元', '海洋国家', '現存する君主国', '島国', '1801年に成立した国家・領域']
['イギリス', 'イギリス連邦加盟国', '英連邦王国', 'G8加盟国', '欧州連合加盟国|元', '海洋国家', '現存する君主国', '島国', '1801年に成立した国家・領域']

section_list = re.findall(r'^=+.+=+$', uk_text, re.MULTILINE)
print(section_list[:5])
result = [(re.sub(r'=+', "", section), len(re.findall(r'=', section))//2) for section in section_list]
print(result[:5])

#出力
['==国名==', '==歴史==', '==地理==', '===主要都市===', '===気候===']
[('国名', 2), ('歴史', 2), ('地理', 2), ('主要都市', 3), ('気候', 3)]

media_row = re.findall(r'\[\[ファイル:.+\]\]', uk_text)
print(media_row[0])
print("--"*20)
media_list = re.findall(r'\[\[ファイル:(.+?\..+?)\|',uk_text)
for media in media_list:
    print(media)

#出力
[[ファイル:Royal Coat of Arms of the United Kingdom.svg|85px|イギリスの国章]]
----------------------------------------
Royal Coat of Arms of the United Kingdom.svg
Descriptio Prime Tabulae Europae.jpg
Lenepveu, Jeanne d'Arc au siège d'Orléans.jpg
　　　　　　　　・
　　　　　　　　・
　　　　　　　　・
Wembley Stadium, illuminated.jpg