0. Python 入門

 
 
Google Colaboratory–適合Python初學者的雲端開發環境






9. 教學
Videos
https://ctld.video.nccu.edu.tw/km/1172 

PPT 
開始我的 AI 人工智慧冒險之旅
https://speakerdeck.com/yenlung/jin-tian-kai-shi-wo-de-ai-ren-gong-zhi-hui-mou-xian-zhi-lu




 
 
0. Python 數據分析套件
 
In [1]:
%matplotlib inlineimport numpy as npimport pandas as pdimport matplotlib.pyplot as plt
 
 
1. 熟悉 Colab 的基本使用方式
Colab 是 Google 推出的免費雲端運算平台, 是數據分析主流平台 Jupyter Notebook 的一個雲端版。
一些基本設定熟悉, 馬上可以上手!
Colab 基本設定
用 Markdown 作筆記
Colab 臨時雲端硬碟
連上你的 Google Drive!
 
 
2. matplotlib 畫圖中使用中文
 
In [2]:
import matplotlib as mplimport matplotlib.font_manager as fm
 
 
我們這裡以翰字鑄造的台北黑體為例, 這裡選了 regular 的版本。
 
In [3]:
!wget -O TaipeiSansTCBeta-Regular.ttf https://drive.google.com/uc?id=1eGAsTN1HBpJAkeVM57_C7ccp7hbgSz3_&export=download
 
 
--2022-05-17 14:07:26--  https://drive.google.com/uc?id=1eGAsTN1HBpJAkeVM57_C7ccp7hbgSz3_Resolving drive.google.com (drive.google.com)... 142.250.152.139, 142.250.152.113, 142.250.152.138, ...Connecting to drive.google.com (drive.google.com)|142.250.152.139|:443... connected.HTTP request sent, awaiting response... 303 See OtherLocation: https://doc-0k-9o-docs.googleusercontent.com/docs/securesc/ha0ro937gcuc7l7deffksulhg5h7mbp1/01nvri1mcp3jq2m4dmirg17tsr3ic3no/1652796375000/02847987870453524430/*/1eGAsTN1HBpJAkeVM57_C7ccp7hbgSz3_ [following]Warning: wildcards not supported in HTTP.--2022-05-17 14:07:26--  https://doc-0k-9o-docs.googleusercontent.com/docs/securesc/ha0ro937gcuc7l7deffksulhg5h7mbp1/01nvri1mcp3jq2m4dmirg17tsr3ic3no/1652796375000/02847987870453524430/*/1eGAsTN1HBpJAkeVM57_C7ccp7hbgSz3_Resolving doc-0k-9o-docs.googleusercontent.com (doc-0k-9o-docs.googleusercontent.com)... 142.250.159.132, 2607:f8b0:4001:c58::84Connecting to doc-0k-9o-docs.googleusercontent.com (doc-0k-9o-docs.googleusercontent.com)|142.250.159.132|:443... connected.HTTP request sent, awaiting response... 200 OKLength: 20659344 (20M) [application/x-font-ttf]Saving to: ‘TaipeiSansTCBeta-Regular.ttf’TaipeiSansTCBeta-Re 100%[===================>]  19.70M  --.-KB/s    in 0.1s    2022-05-17 14:07:27 (172 MB/s) - ‘TaipeiSansTCBeta-Regular.ttf’ saved [20659344/20659344]
 
 
加入 matplotlib 字型的行列!
 
In [4]:
fm.fontManager.addfont('TaipeiSansTCBeta-Regular.ttf')mpl.rc('font', family='Taipei Sans TC Beta')
 
 
3. 來畫函數的圖形
 
 
這一段是我們耍寶之後, 要回到原本設定的。平常是不用做這種事。
 
In [5]:
saved_state = mpl.rcParams.copy()
 
 
Python 畫圖的指令, 我們最需要學只有兩個:
plt.plot
plt.scatter
[1] 我們先來試 plt.plot
 
In [6]:
plt.plot([1, 37, 25, 68])
 
Out[6]:
[]
 
 
 
這其實就是把 y 座標為 1, 37, 25, 68 的點, 補上 x 座標 0, 1, 2, 3 連起來的折線圖。這是 Python 最基本的畫圖法。
如果 x 座標也自己給的話, 也就是比較完整的畫圖方式是
plt.plot(X, Y)  
其中 X 是點的 x 座標; Y 是點的 y 座標。
比如說, 最常見的是, 我們畫一個函數, 就會決定 x 的範圍、要有多少個點, 再把我們要畫的函數畫出來。比方說我們想畫:
$$f(x)=sinc(x)$$
x 的範圍是 -5 到 5, 取 200 個點。
 
In [7]:
x = np.linspace(-5, 5, 200)y = np.sinc(x)
 
In [8]:
plt.plot(x, y)
 
Out[8]:
[]
 
 
 
我們來試試加上中文。
 
In [9]:
plt.title('畫個可愛的 sinc(x) 函數')plt.plot(x, y)
 
Out[9]:
[]
 
 
 
Python 其實是以耍寶見長的程式語言, 我們來耍寶一下。
 
In [10]:
plt.xkcd()
 
Out[10]:
 
 
In [11]:
plt.plot(x,y)
 
Out[11]:
[]
 
 
 
你當然可以一直這麼耍寶下去, 但如果不要 xkcd 風了, 可以這麼作。
 
In [12]:
mpl.rcParams.update(saved_state)
 
 
/usr/lib/python3.7/_collections_abc.py:841: MatplotlibDeprecationWarning: The datapath rcparam was deprecated in Matplotlib 3.2.1 and will be removed two minor releases later.  self[key] = other[key]/usr/lib/python3.7/_collections_abc.py:841: MatplotlibDeprecationWarning: The savefig.frameon rcparam was deprecated in Matplotlib 3.1 and will be removed in 3.3.  self[key] = other[key]/usr/lib/python3.7/_collections_abc.py:841: MatplotlibDeprecationWarning: The text.latex.unicode rcparam was deprecated in Matplotlib 3.0 and will be removed in 3.2.  self[key] = other[key]/usr/lib/python3.7/_collections_abc.py:841: MatplotlibDeprecationWarning: The verbose.fileo rcparam was deprecated in Matplotlib 3.1 and will be removed in 3.3.  self[key] = other[key]/usr/lib/python3.7/_collections_abc.py:841: MatplotlibDeprecationWarning: The verbose.level rcparam was deprecated in Matplotlib 3.1 and will be removed in 3.3.  self[key] = other[key]
 
 
再試試看是不是回復原狀了。
 
In [13]:
plt.plot(x,y)
 
Out[13]:
[]
 
 
 
比較「正常的」美化是用一個叫 seaborn 的套件。
 
In [14]:
import seaborn as sns
 
In [15]:
sns.set()
 
 
試一下效果。
 
In [16]:
plt.plot(x, y)
 
Out[16]:
[]
 
 
 
[2] plt.scatter
再來 plt.scatter 就是一點一點的點上去, 一樣分 x 軸和 y 軸。
 
In [18]:
x = [1.1, 0.9, 3.7, 4.5]y = [2, -1, 1.2, 3.1]
 
In [19]:
plt.scatter(x, y)
 
Out[19]:
 
 
 
 
寫程式中, 亂數是好玩的開始! 我們來隨機畫些點上去。
 
In [20]:
x = np.random.rand(100)y = np.random.rand(100)
 
In [21]:
plt.scatter(x, y)
 
Out[21]:
 
 
 
 
我們來做個標準常態分佈的!!
 
In [22]:
x = np.random.randn(500)y = np.random.randn(500)
 
In [23]:
plt.scatter(x,y)
 
Out[23]:
 
 
 
 
試著做三群的數據。
 
In [24]:
cx0 = 0cy0 = 0cx1 = -3cy1 = 3cx2 = 3cy2 = 3
 
 
每一群都是 500 個點。
 
In [25]:
x0 = np.random.randn(500) + cx0y0 = np.random.randn(500) + cy0x1 = np.random.randn(500) + cx1y1 = np.random.randn(500) + cy1x2 = np.random.randn(500) + cx2y2 = np.random.randn(500) + cy2
 
 
合併三群的點到 x, y 之中。
 
In [26]:
x = np.concatenate((x0, x1, x2))y = np.concatenate((y0, y1, y2))
 
 
現在第一群的點是第 0 類, 第二群是第 1 類, 第三群是第 2 類，所以我們要做個像這樣
[0, 0, ..., 0, 1, 1, ..., 1, 2, 2, ..., 2]  
的標記。
 
In [27]:
c = np.repeat([0,1,2], 500)
 
In [28]:
plt.scatter(x, y, c=c, cmap='Set1')
 
Out[28]:
 
 
 
 
4. 客服機器人
很多餐廳現在都有請客戶留下他們的評價, 假設現在有家餐館, 他們請客戶在手機上留下評論。現在我們想做一個客服機器人, 在客戶留下評論之後, 給予一些回應。
 
 
【客服機器人 1 代】
 
In [29]:
text = input("請輸入你的評論: ")print("感謝您的評論, 歡迎下次再來!")
 
 
請輸入你的評論: 東西有夠難吃感謝您的評論, 歡迎下次再來!
 
 
【客服機器人 2 代】
人家是給負評, 我們的回應好像有點怪, 應該考慮負評的情況。
 
In [30]:
text = input("請輸入你的評論: ")if "爛" in text:    print("不好意思, 造成您不好的感受, 我們一定會改善的。")else:    print("感謝您的評論, 歡迎下次再來!")
 
 
請輸入你的評論: 真是一家大爛店!不好意思, 造成您不好的感受, 我們一定會改善的。
 
 
【客服機器人 2.5 代】
當然不是只有一種表達負評的用詞, 我們儘可能想得完整。
 
In [31]:
egg = ['爛', '難吃', '不會再來']text = input("請輸入你的評論: ")if any(word in text for word in egg):    print("不好意思, 造成您不好的感受, 我們一定會改善的。")else:    print("感謝您的評論, 歡迎下次再來!")
 
 
請輸入你的評論: 真心覺得下次不會再來不好意思, 造成您不好的感受, 我們一定會改善的。
 
 
【客服機器人 3 代】
我們會發現, 有時很難發覺這是不是負評。最好電腦像人一樣, 看到一段文字, 知道這是正評還是負評。只是, 這有可能嗎? 答案是肯定的, 現在的「深度學習」就可以做這樣的事!
 
 
5. 有函數就有互動
我們來看看 Colab (Jupyter Notebook) 超炫的互動! 只要記得, 「有帶參數的函式, 就可以互動」!
我們來看一個超簡單函式。
 
In [32]:
def f(x):    print(x)
 
 
讀入互動用的指令。
 
In [33]:
from ipywidgets import interact, interact_manual
 
 
[1] 數字 (數值滑桿)
 
In [34]:
interact(f, x=87.);
 
 
interactive(children=(FloatSlider(value=87.0, description='x', max=261.0, min=-87.0), Output()), _dom_classes=…
 
 
[2] 字串 (文字輸入框)
 
In [35]:
interact(f, x="你好");
 
 
interactive(children=(Text(value='你好', description='x'), Output()), _dom_classes=('widget-interact',))
 
 
[3] 指定範圍的數值滑桿 (tuple 元組)
 
In [36]:
interact(f, x=(87, 94));
 
 
interactive(children=(IntSlider(value=90, description='x', max=94, min=87), Output()), _dom_classes=('widget-i…
 
 
[4] 下拉式選單 (list 串列)
 
In [37]:
egg = ['澎湖本島', '吉貝', '望安', '七美']interact(f, x=egg);
 
 
interactive(children=(Dropdown(description='x', options=('澎湖本島', '吉貝', '望安', '七美'), value='澎湖本島'), Output()), …
 
 
[5] 下拉式選單 II (字典格式)
 
In [38]:
egg = {'澎湖本島':1, '吉貝':2, '望安':3, '七美':4}interact(f, x=egg);
 
 
interactive(children=(Dropdown(description='x', options={'澎湖本島': 1, '吉貝': 2, '望安': 3, '七美': 4}, value=1), Outp…
 
 
記得不時就想想耍寶的事!
 
In [39]:
face = "(๑´ڡ`๑)"def move(n=1):    print(" "*n + face)
 
In [40]:
interact(move, n=(1, 50));
 
 
interactive(children=(IntSlider(value=1, description='n', max=50, min=1), Output()), _dom_classes=('widget-int…
 
 
【插播】耍寶再升級: 動畫也可以!
 
In [41]:
from IPython.display import clear_outputfrom time import sleep
 
In [42]:
for i in range(50):    print(" "*i + face)    sleep(0.2)    clear_output(wait=True)
 
 
                                                 (๑´ڡ`๑)
 
 
來做一些有意義 (?) 的事... 想作一個澎湖旅遊推薦系統。
 
In [43]:
egg = ['澎湖本島', '吉貝', '望安', '七美']
 
In [44]:
np.random.choice(egg)
 
Out[44]:
'澎湖本島'
 
In [45]:
def recomm_sys(x):    place = np.random.choice(egg)    print(f"推薦您到{place}去玩!")
 
In [46]:
interact_manual(recomm_sys, x="您喜歡的旅遊形態");
 
 
interactive(children=(Text(value='您喜歡的旅遊形態', description='x'), Button(description='Run Interact', style=Button…
 
In [47]:
np.random.choice(egg, p=(0.3, 0.1, 0.5, 0.1))
 
Out[47]:
'望安'
 
In [48]:
def recomm_sys2(x):    place = np.random.choice(egg, p=(0.3, 0.1, 0.5, 0.1))    print(f"推薦您到{place}去玩!")
 
In [49]:
interact_manual(recomm_sys2, x="您喜歡的旅遊形態");
 
 
interactive(children=(Text(value='您喜歡的旅遊形態', description='x'), Button(description='Run Interact', style=Button…
 
 
6. 讀入疫情數據, 做簡單的分析
 
 
我們讀入美國約翰霍普金斯大學 (Johns Hopkins University) 的 Covid-19 統計數據。
你可以發現 pandas 讀這些數據超級方便!
 
In [50]:
df0 = pd.read_csv("https://raw.githubusercontent.com/CSSEGISandData/COVID-19/master/csse_covid_19_data/csse_covid_19_time_series/time_series_covid19_confirmed_global.csv")
 
 
在 pandas 最常用的指令, 大概就是用 head 看看 Data Frame 長什麼樣子。
 
In [51]:
df0.head()
 
Out[51]:
 
Province/State
Country/Region
Lat
Long
1/22/20
1/23/20
1/24/20
1/25/20
1/26/20
1/27/20
...
5/7/22
5/8/22
5/9/22
5/10/22
5/11/22
5/12/22
5/13/22
5/14/22
5/15/22
5/16/22
0
NaN
Afghanistan
33.93911
67.709953
0
0
0
0
0
0
...
178922
178981
179010
179017
179131
179169
179203
179242
179267
179321
1
NaN
Albania
41.15330
20.168300
0
0
0
0
0
0
...
275341
275366
275372
275416
275440
275485
275534
275574
275615
275621
2
NaN
Algeria
28.03390
1.659600
0
0
0
0
0
0
...
265794
265798
265800
265804
265806
265808
265814
265816
265818
265823
3
NaN
Andorra
42.50630
1.521800
0
0
0
0
0
0
...
41717
41717
41717
41717
41717
42156
42156
42156
42156
42156
4
NaN
Angola
-11.20270
17.873900
0
0
0
0
0
0
...
99287
99287
99287
99287
99287
99287
99287
99287
99287
99287
5 rows × 850 columns
 
 
我們把一些不用的欄位刪掉。
 
In [52]:
df0 = df0.drop(columns=['Province/State', 'Lat', 'Long'])
 
 
再欣賞一下, 看 Data Frame 是不是又清爽一些？
 
In [53]:
df0.head()
 
Out[53]:
 
Country/Region
1/22/20
1/23/20
1/24/20
1/25/20
1/26/20
1/27/20
1/28/20
1/29/20
1/30/20
...
5/7/22
5/8/22
5/9/22
5/10/22
5/11/22
5/12/22
5/13/22
5/14/22
5/15/22
5/16/22
0
Afghanistan
0
0
0
0
0
0
0
0
0
...
178922
178981
179010
179017
179131
179169
179203
179242
179267
179321
1
Albania
0
0
0
0
0
0
0
0
0
...
275341
275366
275372
275416
275440
275485
275534
275574
275615
275621
2
Algeria
0
0
0
0
0
0
0
0
0
...
265794
265798
265800
265804
265806
265808
265814
265816
265818
265823
3
Andorra
0
0
0
0
0
0
0
0
0
...
41717
41717
41717
41717
41717
42156
42156
42156
42156
42156
4
Angola
0
0
0
0
0
0
0
0
0
...
99287
99287
99287
99287
99287
99287
99287
99287
99287
99287
5 rows × 847 columns
 
 
為了方便說明, 我們只選擇幾個國家來分析。
 
In [54]:
df = df0.loc[df0["Country/Region"].isin(['Taiwan*', 'Japan', 'Korea, South',                                            'Germany', 'Singapore'])]
 
In [55]:
df
 
Out[55]:
 
Country/Region
1/22/20
1/23/20
1/24/20
1/25/20
1/26/20
1/27/20
1/28/20
1/29/20
1/30/20
...
5/7/22
5/8/22
5/9/22
5/10/22
5/11/22
5/12/22
5/13/22
5/14/22
5/15/22
5/16/22
135
Germany
0
0
0
0
0
1
4
4
4
...
25295950
25299300
25406868
25503878
25592839
25661838
25723697
25729848
25732153
25818405
156
Japan
2
2
2
2
4
4
7
7
11
...
8055713
8098119
8126472
8168462
8214311
8255959
8295529
8334859
8369751
8391424
162
Korea, South
1
1
2
2
3
4
4
4
4
...
17544398
17564999
17614895
17658794
17694677
17727086
17756627
17782061
17795357
17830429
232
Singapore
0
1
3
3
4
5
7
7
10
...
1215499
1217922
1220193
1225024
1228914
1232559
1236850
1240233
1240233
1240233
247
Taiwan*
1
1
3
3
4
5
8
8
9
...
268569
268569
397504
448323
505455
570870
570870
699824
768543
830257
5 rows × 847 columns
 
 
df 這個 Data Frame 改以國家為 index。
 
In [56]:
df = df.set_index("Country/Region")
 
 
行列互換!
 
In [57]:
df = df.T
 
In [58]:
df.head()
 
Out[58]:
Country/Region
Germany
Japan
Korea, South
Singapore
Taiwan*
1/22/20
0
2
1
0
1
1/23/20
0
2
1
1
1
1/24/20
0
2
2
3
3
1/25/20
0
2
2
3
3
1/26/20
0
4
3
4
4
 
 
改成每日新增案例, 而不是累計案例。
 
In [59]:
df = df.diff()
 
In [61]:
df.head()
 
Out[61]:
Country/Region
Germany
Japan
Korea, South
Singapore
Taiwan*
1/22/20
NaN
NaN
NaN
NaN
NaN
1/23/20
0.0
0.0
0.0
1.0
0.0
1/24/20
0.0
0.0
1.0
2.0
2.0
1/25/20
0.0
0.0
0.0
0.0
0.0
1/26/20
0.0
2.0
1.0
1.0
1.0
 
 
去掉第一天。
 
In [62]:
df = df.drop(["1/22/20"])
 
In [63]:
df.head()
 
Out[63]:
Country/Region
Germany
Japan
Korea, South
Singapore
Taiwan*
1/23/20
0.0
0.0
0.0
1.0
0.0
1/24/20
0.0
0.0
1.0
2.0
2.0
1/25/20
0.0
0.0
0.0
0.0
0.0
1/26/20
0.0
2.0
1.0
1.0
1.0
1/27/20
1.0
0.0
1.0
1.0
1.0
 
 
把 index 的日期改為「真的」日期。
 
In [64]:
df.index = pd.to_datetime(df.index)
 
In [65]:
df.head()
 
Out[65]:
Country/Region
Germany
Japan
Korea, South
Singapore
Taiwan*
2020-01-23
0.0
0.0
0.0
1.0
0.0
2020-01-24
0.0
0.0
1.0
2.0
2.0
2020-01-25
0.0
0.0
0.0
0.0
0.0
2020-01-26
0.0
2.0
1.0
1.0
1.0
2020-01-27
1.0
0.0
1.0
1.0
1.0
 
 
我們來依人口調整, 較能比較。最後我們希望得到的是「每 10 萬人中, 有多少人染疫」。
 
In [66]:
population = np.array([84284340, 125753381, 51351596, 5936285, 23897291])/100000
 
In [67]:
dfm = df/population
 
In [68]:
dfm.tail()
 
Out[68]:
Country/Region
Germany
Japan
Korea, South
Singapore
Taiwan*
2022-05-12
81.864555
33.118791
63.111962
61.402038
273.733956
2022-05-13
73.393231
31.466351
57.526936
72.284265
0.000000
2022-05-14
7.297916
31.275501
49.529132
56.988504
539.617650
2022-05-15
2.734790
27.746371
25.892087
0.000000
287.559791
2022-05-16
102.334550
17.234527
68.297780
0.000000
258.246845
 
 
畫個最近 2 個月的圖試試看。
 
In [69]:
dfm[-60:].plot()
 
Out[69]:
 
 
 
 
我們來看各國疫情最高峰的數目大概是多少, 這樣也知道台灣的狀況應該算如何。
 
In [70]:
dfm.max(axis=0)
 
Out[70]:
Country/RegionGermany          625.842238Japan             82.975900Korea, South    1209.927341Singapore        661.221623Taiwan*          539.617650dtype: float64
 
 
注意前面我們發現, 我們的數據有些問題。可能有些日子疫情沒有更新, 所以新增是 0, 結果加到下一天去。
在實際的工作中, 我們會花很多時間去調校, 做「資料清理」。
現在我們準備看看各國疫情高峰期, 走勢大概是怎麼樣的。
 
In [72]:
de = dfm['Germany']jp = dfm['Japan']kr = dfm['Korea, South']sg = dfm['Singapore']tw = dfm['Taiwan*']
 
 
試以德國為例, 我們看看最高峰前後兩個月的樣子。
 
In [73]:
n = de.argmax()period = de[n-60:n+60]ma = period.rolling(window=7).mean()[6:]period[6:].plot()ma.plot()
 
Out[73]:
 
 
 
 
把剛剛的想法寫成一個函式, 簡簡單單就應用到不同國家。
 
In [74]:
def peak_period(country):    n = country.argmax()    period = country[n-60:n+60]    ma = period.rolling(window=7).mean()[6:]    period[6:].plot()    ma.plot()
 
 
我們再來看日本的情況。
 
In [76]:
peak_period(jp)
 
 
 
 
可以發現日本大概一個月左右就到最高峰, 然後緩慢趨緩。
再來看看韓國的情形。
 
In [77]:
peak_period(kr)
 
 
 
 
可以看到韓國大概花了兩個月到最高峰 (而且是相當高), 但兩個月後就差不多趨緩。
 
 
人工智慧都是要學個函數
問一個實務上關切的問題
想一個可以幫我們回答問題的函數
打造一個「函數學習機」把函數學起來
 
 
 
 
7. 用線性迴歸預測加州房價
現在我們用線性迴歸來預測加州的房價。
 
In [78]:
from sklearn.datasets import fetch_california_housing
 
In [79]:
housing = fetch_california_housing()
 
 
可以看看說明, 一共有 8 個特徵 (features), 20,640 筆數據。
 
In [80]:
print(housing['DESCR'])
 
 
.. _california_housing_dataset:California Housing dataset--------------------------**Data Set Characteristics:**    :Number of Instances: 20640    :Number of Attributes: 8 numeric, predictive attributes and the target    :Attribute Information:        - MedInc        median income in block group        - HouseAge      median house age in block group        - AveRooms      average number of rooms per household        - AveBedrms     average number of bedrooms per household        - Population    block group population        - AveOccup      average number of household members        - Latitude      block group latitude        - Longitude     block group longitude    :Missing Attribute Values: NoneThis dataset was obtained from the StatLib repository.https://www.dcc.fc.up.pt/~ltorgo/Regression/cal_housing.htmlThe target variable is the median house value for California districts,expressed in hundreds of thousands of dollars ($100,000).This dataset was derived from the 1990 U.S. census, using one row per censusblock group. A block group is the smallest geographical unit for which the U.S.Census Bureau publishes sample data (a block group typically has a populationof 600 to 3,000 people).An household is a group of people residing within a home. Since the averagenumber of rooms and bedrooms in this dataset are provided per household, thesecolumns may take surpinsingly large values for block groups with few householdsand many empty houses, such as vacation resorts.It can be downloaded/loaded using the:func:`sklearn.datasets.fetch_california_housing` function... topic:: References    - Pace, R. Kelley and Ronald Barry, Sparse Spatial Autoregressions,      Statistics and Probability Letters, 33 (1997) 291-297
 
 
單獨把特徵的名稱找出來。
 
In [81]:
housing.feature_names
 
Out[81]:
['MedInc', 'HouseAge', 'AveRooms', 'AveBedrms', 'Population', 'AveOccup', 'Latitude', 'Longitude']
 
 
特徵的數據是在 .data 中, 現在來建一個 Data Frame。
 
In [82]:
cal = pd.DataFrame(housing.data,                    columns=housing.feature_names)
 
In [83]:
cal.head()
 
Out[83]:
 
MedInc
HouseAge
AveRooms
AveBedrms
Population
AveOccup
Latitude
Longitude
0
8.3252
41.0
6.984127
1.023810
322.0
2.555556
37.88
-122.23
1
8.3014
21.0
6.238137
0.971880
2401.0
2.109842
37.86
-122.22
2
7.2574
52.0
8.288136
1.073446
496.0
2.802260
37.85
-122.24
3
5.6431
52.0
5.817352
1.073059
558.0
2.547945
37.85
-122.25
4
3.8462
52.0
6.281853
1.081081
565.0
2.181467
37.85
-122.25
 
 
把要預測的房價也放進來。
 
In [84]:
cal['MEDV'] = housing.target
 
In [85]:
cal.head()
 
Out[85]:
 
MedInc
HouseAge
AveRooms
AveBedrms
Population
AveOccup
Latitude
Longitude
MEDV
0
8.3252
41.0
6.984127
1.023810
322.0
2.555556
37.88
-122.23
4.526
1
8.3014
21.0
6.238137
0.971880
2401.0
2.109842
37.86
-122.22
3.585
2
7.2574
52.0
8.288136
1.073446
496.0
2.802260
37.85
-122.24
3.521
3
5.6431
52.0
5.817352
1.073059
558.0
2.547945
37.85
-122.25
3.413
4
3.8462
52.0
6.281853
1.081081
565.0
2.181467
37.85
-122.25
3.422
 
 
可以用 seaborn 畫個美美的房價分佈圖。
 
In [86]:
sns.distplot(cal.MEDV, bins=30)
 
 
/usr/local/lib/python3.7/dist-packages/seaborn/distributions.py:2619: FutureWarning: `distplot` is a deprecated function and will be removed in a future version. Please adapt your code to use either `displot` (a figure-level function with similar flexibility) or `histplot` (an axes-level function for histograms).  warnings.warn(msg, FutureWarning)
Out[86]:
 
 
 
 
再來可以做一個相關係數矩陣 (Correlation Matrix), 並且畫出 "heat map"。
 
In [88]:
correlation_matrix = cal.corr().round(2)
 
In [89]:
sns.set(rc={'figure.figsize':(11.7,8.27)})sns.heatmap(correlation_matrix, annot=True)
 
Out[89]:
 
 
 
 
接下來我們把輸入輸出分好。
 
In [90]:
X = cal.loc[:,"MedInc":"Longitude"].valuesY = cal.MEDV
 
 
切一下訓練及測試資料。
 
In [91]:
from sklearn.model_selection import train_test_split
 
In [92]:
x_train, x_test, y_train, y_test = train_test_split(X, Y,                                                   test_size=0.2,                                                   random_state=9487)
 
 
三部曲打造函數學習機!
 
In [93]:
from sklearn.linear_model import LinearRegression
 
 
第一部曲: 開一台函數學習機
 
In [97]:
model = LinearRegression()
 
 
第二部曲: 訓練
 
In [98]:
model.fit(x_train, y_train)
 
Out[98]:
LinearRegression()
 
 
第三部曲: 測試
 
In [99]:
y_predict = model.predict(x_test)
 
 
現在來計算我們預測的成績。
 
In [100]:
from sklearn.metrics import mean_squared_error, r2_score
 
In [101]:
mse = mean_squared_error(y_test, y_predict)r2 = r2_score(y_test, y_predict)print("MSE =", mse)print("R2 =", r2)
 
 
MSE = 0.5184271726802216R2 = 0.5955986387884302
 
 
用很有創意的方法, 把圖給畫出來。
 
In [102]:
plt.scatter(y_test, y_predict)plt.xlim(0, 5.5)plt.ylim(0, 5.5)plt.plot([0,5.5],[0,5.5],'r')
 
Out[102]:
[]
 
 
 
8. 標準的分類問題: 這是哪種鳶尾花
我們現在來看看, 可不可以讓電腦辨識, 這是哪個亞種的鳶尾花?
 
In [103]:
from sklearn.datasets import load_iris
 
In [104]:
iris = load_iris()
 
 
準備輸入及輸出數據, 注意 4 個特徵我們只用了兩個。
 
In [105]:
x = iris.datay = iris.target
 
In [106]:
X = x[:, 2:]Y = y
 
 
切分訓練及測試資料。
 
In [107]:
x_train, x_test, y_train, y_test = train_test_split(X, Y,                                                   test_size=0.2,                                                   random_state=0)
 
 
看一下整筆數據的分佈。
 
In [108]:
plt.scatter(X[:,0], X[:,1], c=Y, cmap='Paired')
 
Out[108]:
 
 
 
 
再一次, 三部曲打造函數學習機。
第一部曲：打開一台函數學習機
 
In [109]:
from sklearn.svm import SVC
 
In [110]:
clf = SVC()
 
 
第二部曲：訓練
 
In [111]:
clf.fit(x_train, y_train)
 
Out[111]:
SVC()
 
 
第三部曲：測試
 
In [112]:
y_predict= clf.predict(x_test)
 
 
看看我們模型預測和真實狀況差多少?
 
In [113]:
y_predict - y_test
 
Out[113]:
array([0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0,       0, 0, 0, 0, 0, 0, 0, 0])
 
 
在測試資料中是全對!! 我們畫圖來看看整體表現如何?
 
In [114]:
x0 = np.linspace(0, 7.5, 500)y0 = np.linspace(0, 2.7, 500)xm, ym = np.meshgrid(x0, y0)P = np.c_[xm.ravel(), ym.ravel()]z = clf.predict(P)Z = z.reshape(xm.shape)plt.contourf(xm, ym, Z, alpha=0.3)plt.scatter(X[:,0], X[:,1], c=Y)
 
Out[114]:
 
 




THE END OF 1.

全部共 0則留言
留言...
登入帳號密碼代表遵守學術網路規範