PythonのBeautifulSoupを使ってGoogleの検索結果をスクレイピングして取得したデータをプロンプトに表示する

Googleの検索結果をひたすら表示するスクレイピングコードの概要
Googleの検索結果をプロンプトに一覧表示するPythonコード
コードの解説
1. for i in range(0, 50, 10):
2. elems = soup.select(‘.r’)とelems_a = soup.select(‘.r a’)
まとめ

Googleの検索結果をひたすら表示するスクレイピングコードの概要

googleで検索したいキーワード（クエリ）を決めておいて、その検索結果のページをスクレイピングしてタイトルとリンクを表示します。1ページ目のスクレイピングが終わったら2ページ目、3ページ目…というようにスクレイピングしていくことで情報をたくさん取得できるようになります。

利用するPythonのモジュールは以下です

requestsモジュール
bs4モジュール

Googleの検索結果をプロンプトに一覧表示するPythonコード

import requests
import bs4

def searchreturn(search_word):
    google_page = []
    for i in range(0, 50, 10):
        page = '&start={}'.format(str(i))
        google_page.append(page)

    count = 1
    page_num = 1
    for page in google_page:
        res = requests.get('https://www.google.co.jp/search?q=' + search_word + page)
        res.raise_for_status()
        soup = bs4.BeautifulSoup(res.text, 'html.parser')
        elems = soup.select('.r')
        elems_a = soup.select('.r a')
        print(str(count) + 'ページ目を表示します')
        print('\n')
        count += 1
        for i in range(len(elems)):
            print(str(page_num) + '---' + elems[i].text)
            print('https://www.google.co.jp' + elems_a[i].get('href'))
            print('\n')
            page_num += 1

searchreturn('dos攻撃')

結果的にはこんな感じになります。