四技資管延修
10814D002
許茗和

歷程檔案 Portfolio

6. 自然語言處理

6. 讀入疫情數據, 做簡單的分析

我們讀入美國約翰霍普金斯大學 (Johns Hopkins University) 的 Covid-19 統計數據。

你可以發現 pandas 讀這些數據超級方便!

In [50]:

df0 = pd.read_csv("https://raw.githubusercontent.com/CSSEGISandData/COVID-19/master/csse_covid_19_data/csse_covid_19_time_series/time_series_covid19_confirmed_global.csv")

在 pandas 最常用的指令, 大概就是用 head 看看 Data Frame 長什麼樣子。

In [51]:

df0.head()

Out[51]:

	Province/State	Country/Region	Lat	Long	...	5/7/22	5/8/22	5/9/22	5/10/22	5/11/22	5/12/22	5/13/22	5/14/22	5/15/22	5/16/22
0	NaN	Afghanistan	33.93911	67.709953	...	178922	178981	179010	179017	179131	179169	179203	179242	179267	179321
1	NaN	Albania	41.15330	20.168300	...	275341	275366	275372	275416	275440	275485	275534	275574	275615	275621
2	NaN	Algeria	28.03390	1.659600	...	265794	265798	265800	265804	265806	265808	265814	265816	265818	265823
3	NaN	Andorra	42.50630	1.521800	...	41717	41717	41717	41717	41717	42156	42156	42156	42156	42156
4	NaN	Angola	-11.20270	17.873900	...	99287	99287	99287	99287	99287	99287	99287	99287	99287	99287

5 rows × 850 columns

我們把一些不用的欄位刪掉。

In [52]:

df0 = df0.drop(columns=['Province/State', 'Lat', 'Long'])

再欣賞一下, 看 Data Frame 是不是又清爽一些？

In [53]:

df0.head()

Out[53]:

	Country/Region	...	5/7/22	5/8/22	5/9/22	5/10/22	5/11/22	5/12/22	5/13/22	5/14/22	5/15/22	5/16/22
0	Afghanistan	...	178922	178981	179010	179017	179131	179169	179203	179242	179267	179321
1	Albania	...	275341	275366	275372	275416	275440	275485	275534	275574	275615	275621
2	Algeria	...	265794	265798	265800	265804	265806	265808	265814	265816	265818	265823
3	Andorra	...	41717	41717	41717	41717	41717	42156	42156	42156	42156	42156
4	Angola	...	99287	99287	99287	99287	99287	99287	99287	99287	99287	99287

5 rows × 847 columns

為了方便說明, 我們只選擇幾個國家來分析。

In [54]:

df = df0.loc[df0["Country/Region"].isin(['Taiwan*', 'Japan', 'Korea, South',                                            'Germany', 'Singapore'])]

In [55]:

df

Out[55]:

	Country/Region	1/22/20	1/23/20	1/24/20	1/25/20	1/26/20	1/27/20	1/28/20	1/29/20	1/30/20	...	5/7/22	5/8/22	5/9/22	5/10/22	5/11/22	5/12/22	5/13/22	5/14/22	5/15/22	5/16/22
135	Germany	0	0	0	0	0	1	4	4	4	...	25295950	25299300	25406868	25503878	25592839	25661838	25723697	25729848	25732153	25818405
156	Japan	2	2	2	2	4	4	7	7	11	...	8055713	8098119	8126472	8168462	8214311	8255959	8295529	8334859	8369751	8391424
162	Korea, South	1	1	2	2	3	4	4	4	4	...	17544398	17564999	17614895	17658794	17694677	17727086	17756627	17782061	17795357	17830429
232	Singapore	0	1	3	3	4	5	7	7	10	...	1215499	1217922	1220193	1225024	1228914	1232559	1236850	1240233	1240233	1240233
247	Taiwan*	1	1	3	3	4	5	8	8	9	...	268569	268569	397504	448323	505455	570870	570870	699824	768543	830257

5 rows × 847 columns

df 這個 Data Frame 改以國家為 index。

In [56]:

df = df.set_index("Country/Region")

行列互換!

In [57]:

df = df.T

In [58]:

df.head()

Out[58]:

Country/Region	Japan	Korea, South	Singapore	Taiwan*
1/22/20	2	1	0	1
1/23/20	2	1	1	1
1/24/20	2	2	3	3
1/25/20	2	2	3	3
1/26/20	4	3	4	4

改成每日新增案例, 而不是累計案例。

In [59]:

df = df.diff()

In [61]:

df.head()

Out[61]:

Country/Region	Germany	Japan	Korea, South	Singapore	Taiwan*
1/22/20	NaN	NaN	NaN	NaN	NaN
1/23/20	0.0	0.0	0.0	1.0	0.0
1/24/20	0.0	0.0	1.0	2.0	2.0
1/25/20	0.0	0.0	0.0	0.0	0.0
1/26/20	0.0	2.0	1.0	1.0	1.0

去掉第一天。

In [62]:

df = df.drop(["1/22/20"])

In [63]:

df.head()

Out[63]:

Country/Region	Germany	Japan	Korea, South	Singapore	Taiwan*
1/23/20	0.0	0.0	0.0	1.0	0.0
1/24/20	0.0	0.0	1.0	2.0	2.0
1/25/20	0.0	0.0	0.0	0.0	0.0
1/26/20	0.0	2.0	1.0	1.0	1.0
1/27/20	1.0	0.0	1.0	1.0	1.0

把 index 的日期改為「真的」日期。

In [64]:

df.index = pd.to_datetime(df.index)

In [65]:

df.head()

Out[65]:

Country/Region	Germany	Japan	Korea, South	Singapore	Taiwan*
2020-01-23	0.0	0.0	0.0	1.0	0.0
2020-01-24	0.0	0.0	1.0	2.0	2.0
2020-01-25	0.0	0.0	0.0	0.0	0.0
2020-01-26	0.0	2.0	1.0	1.0	1.0
2020-01-27	1.0	0.0	1.0	1.0	1.0

我們來依人口調整, 較能比較。最後我們希望得到的是「每 10 萬人中, 有多少人染疫」。

In [66]:

population = np.array([84284340, 125753381, 51351596, 5936285, 23897291])/100000

In [67]:

dfm = df/population

In [68]:

dfm.tail()

Out[68]:

Country/Region	Germany	Japan	Korea, South	Singapore	Taiwan*
2022-05-12	81.864555	33.118791	63.111962	61.402038	273.733956
2022-05-13	73.393231	31.466351	57.526936	72.284265	0.000000
2022-05-14	7.297916	31.275501	49.529132	56.988504	539.617650
2022-05-15	2.734790	27.746371	25.892087	0.000000	287.559791
2022-05-16	102.334550	17.234527	68.297780	0.000000	258.246845

畫個最近 2 個月的圖試試看。

In [69]:

dfm[-60:].plot()

Out[69]:

我們來看各國疫情最高峰的數目大概是多少, 這樣也知道台灣的狀況應該算如何。

In [70]:

dfm.max(axis=0)

Out[70]:

Country/RegionGermany          625.842238Japan             82.975900Korea, South    1209.927341Singapore        661.221623Taiwan*          539.617650dtype: float64

注意前面我們發現, 我們的數據有些問題。可能有些日子疫情沒有更新, 所以新增是 0, 結果加到下一天去。

在實際的工作中, 我們會花很多時間去調校, 做「資料清理」。

現在我們準備看看各國疫情高峰期, 走勢大概是怎麼樣的。

In [72]:

de = dfm['Germany']jp = dfm['Japan']kr = dfm['Korea, South']sg = dfm['Singapore']tw = dfm['Taiwan*']

試以德國為例, 我們看看最高峰前後兩個月的樣子。

In [73]:

n = de.argmax()period = de[n-60:n+60]ma = period.rolling(window=7).mean()[6:]period[6:].plot()ma.plot()

Out[73]:

把剛剛的想法寫成一個函式, 簡簡單單就應用到不同國家。

In [74]:

def peak_period(country):    n = country.argmax()    period = country[n-60:n+60]    ma = period.rolling(window=7).mean()[6:]    period[6:].plot()    ma.plot()

我們再來看日本的情況。

In [76]:

peak_period(jp)

可以發現日本大概一個月左右就到最高峰, 然後緩慢趨緩。

再來看看韓國的情形。

In [77]:

peak_period(kr)

可以看到韓國大概花了兩個月到最高峰 (而且是相當高), 但兩個月後就差不多趨緩。

人工智慧都是要學個函數

問一個實務上關切的問題
想一個可以幫我們回答問題的函數
打造一個「函數學習機」把函數學起來

全部共 0則留言

登入帳號密碼代表遵守學術網路規範

文章分類 Labels

最新文章 Top10