爬7-11便利生活站-門市查詢並存成xlsx檔

觀察網頁形態

上圖紅框感覺要抓數資料有點難,所以用動態

的方式抓取看看,點到Network並重載入網頁

預覽後出現了和前端一樣的表格,這

樣就可以在這點上進行爬取資料。

看一下hearders,它是以post的方式回應請求。

往下拉到最下面，可以看到有city的

keywords關鍵詞

 程式碼

import requests

import pandas as pd

city=['台北市','基隆市','宜蘭市','花蓮市']

for index, city in enumerate(city):

    data={'strTargetField': 'COUNTY', 'strKeyWords':'%s'%city}

    res=requests.post('http://www.ibon.com.tw/retail_inquiry_ajax.aspx', data=data)

    df=pd.read_html(res.text, header=0)[0]

    df['縣市']=city

    df_=df.append(df)

    print(df_)

df_.to_excel('out33.xlsx',encoding='utf-8')

儲存成xlsx檔