pythonで画像をダウンロードしまくる？【人間のほうが能力が低い。】　

2017年11月18日 2019年3月14日

1 漫画ページのコミックをダウンロードするPythonコード
2 スクリプトの流れ

漫画ページのコミックをダウンロードするPythonコード


import requests, os, bs4

url = 'http://xkcd.com'
os.makedirs('xkcd', exist_ok=True)

while not url.endswith('#'):
#ページをダウンロードする
print('ページをダウンロード中 {}...'.format(url))
res = requests.get(url)
res.raise_for_status()

soup = bs4.BeautifulSoup(res.text)

#コミック画像のURLを見つける
#id="comic"の　imgタグ
comic_elem = soup.select('#comic img')
if comic_elem == []:
print('コミック画像が見つかりませんでした')
else:
comic_url = 'http:' + comic_elem[0].get('src')
#画像をダウンロードする
print('画像をダウンロード中 {}...'.format(comic_url))
res = requests.get(comic_url)
res.raise_for_status()

#画像を./xkcdに保存する

#prevボタンのurlを取得する
image_file = open(os.path.join('xkcd', os.path.basename(comic_url)), 'wb')
for chunk in res.iter_content(100000):
image_file.write(chunk)
image_file.close()


#prevボタンのURLを取得する
prev_link = soup.select('a[rel="prev"]')[0]
url = 'http://xkcd.com' + prev_link.get('href')

print('完了')

１行１行追っていかないと理解できないです。短いスクリプトならいいですが、これよりもっと長いスクリプトだとどうなるのだろうかと思ったりします。このスクリプトではじめてバックグラウンドで動いているという感覚が得られました。繰り返しでどんどん画像をとっていくので、はっきり言って怖いです。
条件がそろわないとプログラムは停止しませんので、やめたいときは自分で止める必要があります。