企業資訊與管理系
助理教授/日導
羅德興

歷程檔案 Portfolio

Lesson One

Preparations:

https://github.com/yenlung/Python-3-Data-Analysis-Basics

1.
https://github.com/yenlung/Python-3-Data-Analysis-Basics/blob/master/colab_%E5%B8%B6%E8%91%97%E5%A5%BD%E7%8E%A9%E7%9A%84%E5%BF%83%E6%83%85%E7%8E%A9%E7%8E%A9Python.ipynb

2.
https://github.com/yenlung/AI_Math

3.
陳擎文教學網：人工智慧概論

https://acupun.site/lecture/ai/index.htm

4.3
https://acupun.site/lecture/ai/index.htm

Google Colaboratory–適合Python初學者的雲端開發環境

9. 教學
Videos
https://ctld.video.nccu.edu.tw/km/1172

PPT

開始我的 AI 人工智慧冒險之旅

https://speakerdeck.com/yenlung/jin-tian-kai-shi-wo-de-ai-ren-gong-zhi-hui-mou-xian-zhi-lu

0. Python 數據分析套件

In [1]:

%matplotlib inlineimport numpy as npimport pandas as pdimport matplotlib.pyplot as plt

1. 熟悉 Colab 的基本使用方式

Colab 是 Google 推出的免費雲端運算平台, 是數據分析主流平台 Jupyter Notebook 的一個雲端版。

一些基本設定熟悉, 馬上可以上手!

Colab 基本設定
用 Markdown 作筆記
Colab 臨時雲端硬碟
連上你的 Google Drive!

2. `matplotlib` 畫圖中使用中文

In [2]:

import matplotlib as mplimport matplotlib.font_manager as fm

我們這裡以翰字鑄造的台北黑體為例, 這裡選了 regular 的版本。

In [3]:

!wget -O TaipeiSansTCBeta-Regular.ttf https://drive.google.com/uc?id=1eGAsTN1HBpJAkeVM57_C7ccp7hbgSz3_&export=download

--2022-05-17 14:07:26--  https://drive.google.com/uc?id=1eGAsTN1HBpJAkeVM57_C7ccp7hbgSz3_Resolving drive.google.com (drive.google.com)... 142.250.152.139, 142.250.152.113, 142.250.152.138, ...Connecting to drive.google.com (drive.google.com)|142.250.152.139|:443... connected.HTTP request sent, awaiting response... 303 See OtherLocation: https://doc-0k-9o-docs.googleusercontent.com/docs/securesc/ha0ro937gcuc7l7deffksulhg5h7mbp1/01nvri1mcp3jq2m4dmirg17tsr3ic3no/1652796375000/02847987870453524430/*/1eGAsTN1HBpJAkeVM57_C7ccp7hbgSz3_ [following]Warning: wildcards not supported in HTTP.--2022-05-17 14:07:26--  https://doc-0k-9o-docs.googleusercontent.com/docs/securesc/ha0ro937gcuc7l7deffksulhg5h7mbp1/01nvri1mcp3jq2m4dmirg17tsr3ic3no/1652796375000/02847987870453524430/*/1eGAsTN1HBpJAkeVM57_C7ccp7hbgSz3_Resolving doc-0k-9o-docs.googleusercontent.com (doc-0k-9o-docs.googleusercontent.com)... 142.250.159.132, 2607:f8b0:4001:c58::84Connecting to doc-0k-9o-docs.googleusercontent.com (doc-0k-9o-docs.googleusercontent.com)|142.250.159.132|:443... connected.HTTP request sent, awaiting response... 200 OKLength: 20659344 (20M) [application/x-font-ttf]Saving to: ‘TaipeiSansTCBeta-Regular.ttf’TaipeiSansTCBeta-Re 100%[===================>]  19.70M  --.-KB/s    in 0.1s    2022-05-17 14:07:27 (172 MB/s) - ‘TaipeiSansTCBeta-Regular.ttf’ saved [20659344/20659344]

加入 matplotlib 字型的行列!

In [4]:

fm.fontManager.addfont('TaipeiSansTCBeta-Regular.ttf')mpl.rc('font', family='Taipei Sans TC Beta')

3. 來畫函數的圖形

這一段是我們耍寶之後, 要回到原本設定的。平常是不用做這種事。

In [5]:

saved_state = mpl.rcParams.copy()

Python 畫圖的指令, 我們最需要學只有兩個:

plt.plot
plt.scatter

[1] 我們先來試 `plt.plot`

In [6]:

plt.plot([1, 37, 25, 68])

Out[6]:

[]

這其實就是把 y 座標為 1, 37, 25, 68 的點, 補上 x 座標 0, 1, 2, 3 連起來的折線圖。這是 Python 最基本的畫圖法。

如果 x 座標也自己給的話, 也就是比較完整的畫圖方式是

plt.plot(X, Y)

其中 X 是點的 x 座標; Y 是點的 y 座標。

比如說, 最常見的是, 我們畫一個函數, 就會決定 x 的範圍、要有多少個點, 再把我們要畫的函數畫出來。比方說我們想畫:

f (x) = sinc (x)

x 的範圍是 -5 到 5, 取 200 個點。

In [7]:

x = np.linspace(-5, 5, 200)y = np.sinc(x)

In [8]:

plt.plot(x, y)

Out[8]:

[]

我們來試試加上中文。

In [9]:

plt.title('畫個可愛的 sinc(x) 函數')plt.plot(x, y)

Out[9]:

[]

Python 其實是以耍寶見長的程式語言, 我們來耍寶一下。

In [10]:

plt.xkcd()

Out[10]:

In [11]:

plt.plot(x,y)

Out[11]:

[]

你當然可以一直這麼耍寶下去, 但如果不要 xkcd 風了, 可以這麼作。

In [12]:

mpl.rcParams.update(saved_state)

/usr/lib/python3.7/_collections_abc.py:841: MatplotlibDeprecationWarning: The datapath rcparam was deprecated in Matplotlib 3.2.1 and will be removed two minor releases later.  self[key] = other[key]/usr/lib/python3.7/_collections_abc.py:841: MatplotlibDeprecationWarning: The savefig.frameon rcparam was deprecated in Matplotlib 3.1 and will be removed in 3.3.  self[key] = other[key]/usr/lib/python3.7/_collections_abc.py:841: MatplotlibDeprecationWarning: The text.latex.unicode rcparam was deprecated in Matplotlib 3.0 and will be removed in 3.2.  self[key] = other[key]/usr/lib/python3.7/_collections_abc.py:841: MatplotlibDeprecationWarning: The verbose.fileo rcparam was deprecated in Matplotlib 3.1 and will be removed in 3.3.  self[key] = other[key]/usr/lib/python3.7/_collections_abc.py:841: MatplotlibDeprecationWarning: The verbose.level rcparam was deprecated in Matplotlib 3.1 and will be removed in 3.3.  self[key] = other[key]

再試試看是不是回復原狀了。

In [13]:

plt.plot(x,y)

Out[13]:

[]

比較「正常的」美化是用一個叫 seaborn 的套件。

In [14]:

import seaborn as sns

In [15]:

sns.set()

試一下效果。

In [16]:

plt.plot(x, y)

Out[16]:

[]

[2] `plt.scatter`

再來 plt.scatter 就是一點一點的點上去, 一樣分 x 軸和 y 軸。

In [18]:

x = [1.1, 0.9, 3.7, 4.5]y = [2, -1, 1.2, 3.1]

In [19]:

plt.scatter(x, y)

Out[19]:

寫程式中, 亂數是好玩的開始! 我們來隨機畫些點上去。

In [20]:

x = np.random.rand(100)y = np.random.rand(100)

In [21]:

plt.scatter(x, y)

Out[21]:

我們來做個標準常態分佈的!!

In [22]:

x = np.random.randn(500)y = np.random.randn(500)

In [23]:

plt.scatter(x,y)

Out[23]:

試著做三群的數據。

In [24]:

cx0 = 0cy0 = 0cx1 = -3cy1 = 3cx2 = 3cy2 = 3

每一群都是 500 個點。

In [25]:

x0 = np.random.randn(500) + cx0y0 = np.random.randn(500) + cy0x1 = np.random.randn(500) + cx1y1 = np.random.randn(500) + cy1x2 = np.random.randn(500) + cx2y2 = np.random.randn(500) + cy2

合併三群的點到 x, y 之中。

In [26]:

x = np.concatenate((x0, x1, x2))y = np.concatenate((y0, y1, y2))

現在第一群的點是第 0 類, 第二群是第 1 類, 第三群是第 2 類，所以我們要做個像這樣

[0, 0, ..., 0, 1, 1, ..., 1, 2, 2, ..., 2]

的標記。

In [27]:

c = np.repeat([0,1,2], 500)

In [28]:

plt.scatter(x, y, c=c, cmap='Set1')

Out[28]:

4. 客服機器人

很多餐廳現在都有請客戶留下他們的評價, 假設現在有家餐館, 他們請客戶在手機上留下評論。現在我們想做一個客服機器人, 在客戶留下評論之後, 給予一些回應。

【客服機器人 1 代】

In [29]:

text = input("請輸入你的評論: ")print("感謝您的評論, 歡迎下次再來!")

請輸入你的評論: 東西有夠難吃感謝您的評論, 歡迎下次再來!

【客服機器人 2 代】

人家是給負評, 我們的回應好像有點怪, 應該考慮負評的情況。

In [30]:

text = input("請輸入你的評論: ")if "爛" in text:    print("不好意思, 造成您不好的感受, 我們一定會改善的。")else:    print("感謝您的評論, 歡迎下次再來!")

請輸入你的評論: 真是一家大爛店!不好意思, 造成您不好的感受, 我們一定會改善的。

【客服機器人 2.5 代】

當然不是只有一種表達負評的用詞, 我們儘可能想得完整。

In [31]:

egg = ['爛', '難吃', '不會再來']text = input("請輸入你的評論: ")if any(word in text for word in egg):    print("不好意思, 造成您不好的感受, 我們一定會改善的。")else:    print("感謝您的評論, 歡迎下次再來!")

請輸入你的評論: 真心覺得下次不會再來不好意思, 造成您不好的感受, 我們一定會改善的。

【客服機器人 3 代】

我們會發現, 有時很難發覺這是不是負評。最好電腦像人一樣, 看到一段文字, 知道這是正評還是負評。只是, 這有可能嗎? 答案是肯定的, 現在的「深度學習」就可以做這樣的事!

5. 有函數就有互動

我們來看看 Colab (Jupyter Notebook) 超炫的互動! 只要記得, 「有帶參數的函式, 就可以互動」!

我們來看一個超簡單函式。

In [32]:

def f(x):    print(x)

讀入互動用的指令。

In [33]:

from ipywidgets import interact, interact_manual

[1] 數字 (數值滑桿)

In [34]:

interact(f, x=87.);

interactive(children=(FloatSlider(value=87.0, description='x', max=261.0, min=-87.0), Output()), _dom_classes=…

[2] 字串 (文字輸入框)

In [35]:

interact(f, x="你好");

interactive(children=(Text(value='你好', description='x'), Output()), _dom_classes=('widget-interact',))

[3] 指定範圍的數值滑桿 (tuple 元組)

In [36]:

interact(f, x=(87, 94));

interactive(children=(IntSlider(value=90, description='x', max=94, min=87), Output()), _dom_classes=('widget-i…

[4] 下拉式選單 (list 串列)

In [37]:

egg = ['澎湖本島', '吉貝', '望安', '七美']interact(f, x=egg);

interactive(children=(Dropdown(description='x', options=('澎湖本島', '吉貝', '望安', '七美'), value='澎湖本島'), Output()), …

[5] 下拉式選單 II (字典格式)

In [38]:

egg = {'澎湖本島':1, '吉貝':2, '望安':3, '七美':4}interact(f, x=egg);

interactive(children=(Dropdown(description='x', options={'澎湖本島': 1, '吉貝': 2, '望安': 3, '七美': 4}, value=1), Outp…

記得不時就想想耍寶的事!

In [39]:

face = "(๑´ڡ`๑)"def move(n=1):    print(" "*n + face)

In [40]:

interact(move, n=(1, 50));

interactive(children=(IntSlider(value=1, description='n', max=50, min=1), Output()), _dom_classes=('widget-int…

【插播】耍寶再升級: 動畫也可以!

In [41]:

from IPython.display import clear_outputfrom time import sleep

In [42]:

for i in range(50):    print(" "*i + face)    sleep(0.2)    clear_output(wait=True)

                                                 (๑´ڡ`๑)

來做一些有意義 (?) 的事... 想作一個澎湖旅遊推薦系統。

In [43]:

egg = ['澎湖本島', '吉貝', '望安', '七美']

In [44]:

np.random.choice(egg)

Out[44]:

'澎湖本島'

In [45]:

def recomm_sys(x):    place = np.random.choice(egg)    print(f"推薦您到{place}去玩!")

In [46]:

interact_manual(recomm_sys, x="您喜歡的旅遊形態");

interactive(children=(Text(value='您喜歡的旅遊形態', description='x'), Button(description='Run Interact', style=Button…

In [47]:

np.random.choice(egg, p=(0.3, 0.1, 0.5, 0.1))

Out[47]:

'望安'

In [48]:

def recomm_sys2(x):    place = np.random.choice(egg, p=(0.3, 0.1, 0.5, 0.1))    print(f"推薦您到{place}去玩!")

In [49]:

interact_manual(recomm_sys2, x="您喜歡的旅遊形態");

interactive(children=(Text(value='您喜歡的旅遊形態', description='x'), Button(description='Run Interact', style=Button…

6. 讀入疫情數據, 做簡單的分析

我們讀入美國約翰霍普金斯大學 (Johns Hopkins University) 的 Covid-19 統計數據。

你可以發現 pandas 讀這些數據超級方便!

In [50]:

df0 = pd.read_csv("https://raw.githubusercontent.com/CSSEGISandData/COVID-19/master/csse_covid_19_data/csse_covid_19_time_series/time_series_covid19_confirmed_global.csv")

在 pandas 最常用的指令, 大概就是用 head 看看 Data Frame 長什麼樣子。

In [51]:

df0.head()

Out[51]:

	Province/State	Country/Region	Lat	Long	...	5/7/22	5/8/22	5/9/22	5/10/22	5/11/22	5/12/22	5/13/22	5/14/22	5/15/22	5/16/22
0	NaN	Afghanistan	33.93911	67.709953	...	178922	178981	179010	179017	179131	179169	179203	179242	179267	179321
1	NaN	Albania	41.15330	20.168300	...	275341	275366	275372	275416	275440	275485	275534	275574	275615	275621
2	NaN	Algeria	28.03390	1.659600	...	265794	265798	265800	265804	265806	265808	265814	265816	265818	265823
3	NaN	Andorra	42.50630	1.521800	...	41717	41717	41717	41717	41717	42156	42156	42156	42156	42156
4	NaN	Angola	-11.20270	17.873900	...	99287	99287	99287	99287	99287	99287	99287	99287	99287	99287

5 rows × 850 columns

我們把一些不用的欄位刪掉。

In [52]:

df0 = df0.drop(columns=['Province/State', 'Lat', 'Long'])

再欣賞一下, 看 Data Frame 是不是又清爽一些？

In [53]:

df0.head()

Out[53]:

	Country/Region	...	5/7/22	5/8/22	5/9/22	5/10/22	5/11/22	5/12/22	5/13/22	5/14/22	5/15/22	5/16/22
0	Afghanistan	...	178922	178981	179010	179017	179131	179169	179203	179242	179267	179321
1	Albania	...	275341	275366	275372	275416	275440	275485	275534	275574	275615	275621
2	Algeria	...	265794	265798	265800	265804	265806	265808	265814	265816	265818	265823
3	Andorra	...	41717	41717	41717	41717	41717	42156	42156	42156	42156	42156
4	Angola	...	99287	99287	99287	99287	99287	99287	99287	99287	99287	99287

5 rows × 847 columns

為了方便說明, 我們只選擇幾個國家來分析。

In [54]:

df = df0.loc[df0["Country/Region"].isin(['Taiwan*', 'Japan', 'Korea, South',                                            'Germany', 'Singapore'])]

In [55]:

df

Out[55]:

	Country/Region	1/22/20	1/23/20	1/24/20	1/25/20	1/26/20	1/27/20	1/28/20	1/29/20	1/30/20	...	5/7/22	5/8/22	5/9/22	5/10/22	5/11/22	5/12/22	5/13/22	5/14/22	5/15/22	5/16/22
135	Germany	0	0	0	0	0	1	4	4	4	...	25295950	25299300	25406868	25503878	25592839	25661838	25723697	25729848	25732153	25818405
156	Japan	2	2	2	2	4	4	7	7	11	...	8055713	8098119	8126472	8168462	8214311	8255959	8295529	8334859	8369751	8391424
162	Korea, South	1	1	2	2	3	4	4	4	4	...	17544398	17564999	17614895	17658794	17694677	17727086	17756627	17782061	17795357	17830429
232	Singapore	0	1	3	3	4	5	7	7	10	...	1215499	1217922	1220193	1225024	1228914	1232559	1236850	1240233	1240233	1240233
247	Taiwan*	1	1	3	3	4	5	8	8	9	...	268569	268569	397504	448323	505455	570870	570870	699824	768543	830257

5 rows × 847 columns

df 這個 Data Frame 改以國家為 index。

In [56]:

df = df.set_index("Country/Region")

行列互換!

In [57]:

df = df.T

In [58]:

df.head()

Out[58]:

Country/Region	Japan	Korea, South	Singapore	Taiwan*
1/22/20	2	1	0	1
1/23/20	2	1	1	1
1/24/20	2	2	3	3
1/25/20	2	2	3	3
1/26/20	4	3	4	4

改成每日新增案例, 而不是累計案例。

In [59]:

df = df.diff()

In [61]:

df.head()

Out[61]:

Country/Region	Germany	Japan	Korea, South	Singapore	Taiwan*
1/22/20	NaN	NaN	NaN	NaN	NaN
1/23/20	0.0	0.0	0.0	1.0	0.0
1/24/20	0.0	0.0	1.0	2.0	2.0
1/25/20	0.0	0.0	0.0	0.0	0.0
1/26/20	0.0	2.0	1.0	1.0	1.0

去掉第一天。

In [62]:

df = df.drop(["1/22/20"])

In [63]:

df.head()

Out[63]:

Country/Region	Germany	Japan	Korea, South	Singapore	Taiwan*
1/23/20	0.0	0.0	0.0	1.0	0.0
1/24/20	0.0	0.0	1.0	2.0	2.0
1/25/20	0.0	0.0	0.0	0.0	0.0
1/26/20	0.0	2.0	1.0	1.0	1.0
1/27/20	1.0	0.0	1.0	1.0	1.0

把 index 的日期改為「真的」日期。

In [64]:

df.index = pd.to_datetime(df.index)

In [65]:

df.head()

Out[65]:

Country/Region	Germany	Japan	Korea, South	Singapore	Taiwan*
2020-01-23	0.0	0.0	0.0	1.0	0.0
2020-01-24	0.0	0.0	1.0	2.0	2.0
2020-01-25	0.0	0.0	0.0	0.0	0.0
2020-01-26	0.0	2.0	1.0	1.0	1.0
2020-01-27	1.0	0.0	1.0	1.0	1.0

我們來依人口調整, 較能比較。最後我們希望得到的是「每 10 萬人中, 有多少人染疫」。

In [66]:

population = np.array([84284340, 125753381, 51351596, 5936285, 23897291])/100000

In [67]:

dfm = df/population

In [68]:

dfm.tail()

Out[68]:

Country/Region	Germany	Japan	Korea, South	Singapore	Taiwan*
2022-05-12	81.864555	33.118791	63.111962	61.402038	273.733956
2022-05-13	73.393231	31.466351	57.526936	72.284265	0.000000
2022-05-14	7.297916	31.275501	49.529132	56.988504	539.617650
2022-05-15	2.734790	27.746371	25.892087	0.000000	287.559791
2022-05-16	102.334550	17.234527	68.297780	0.000000	258.246845

畫個最近 2 個月的圖試試看。

In [69]:

dfm[-60:].plot()

Out[69]:

我們來看各國疫情最高峰的數目大概是多少, 這樣也知道台灣的狀況應該算如何。

In [70]:

dfm.max(axis=0)

Out[70]:

Country/RegionGermany          625.842238Japan             82.975900Korea, South    1209.927341Singapore        661.221623Taiwan*          539.617650dtype: float64

注意前面我們發現, 我們的數據有些問題。可能有些日子疫情沒有更新, 所以新增是 0, 結果加到下一天去。

在實際的工作中, 我們會花很多時間去調校, 做「資料清理」。

現在我們準備看看各國疫情高峰期, 走勢大概是怎麼樣的。

In [72]:

de = dfm['Germany']jp = dfm['Japan']kr = dfm['Korea, South']sg = dfm['Singapore']tw = dfm['Taiwan*']

試以德國為例, 我們看看最高峰前後兩個月的樣子。

In [73]:

n = de.argmax()period = de[n-60:n+60]ma = period.rolling(window=7).mean()[6:]period[6:].plot()ma.plot()

Out[73]:

把剛剛的想法寫成一個函式, 簡簡單單就應用到不同國家。

In [74]:

def peak_period(country):    n = country.argmax()    period = country[n-60:n+60]    ma = period.rolling(window=7).mean()[6:]    period[6:].plot()    ma.plot()

我們再來看日本的情況。

In [76]:

peak_period(jp)

可以發現日本大概一個月左右就到最高峰, 然後緩慢趨緩。

再來看看韓國的情形。

In [77]:

peak_period(kr)

可以看到韓國大概花了兩個月到最高峰 (而且是相當高), 但兩個月後就差不多趨緩。

人工智慧都是要學個函數

問一個實務上關切的問題
想一個可以幫我們回答問題的函數
打造一個「函數學習機」把函數學起來

7. 用線性迴歸預測加州房價

現在我們用線性迴歸來預測加州的房價。

In [78]:

from sklearn.datasets import fetch_california_housing

In [79]:

housing = fetch_california_housing()

可以看看說明, 一共有 8 個特徵 (features), 20,640 筆數據。

In [80]:

print(housing['DESCR'])

.. _california_housing_dataset:California Housing dataset--------------------------**Data Set Characteristics:**    :Number of Instances: 20640    :Number of Attributes: 8 numeric, predictive attributes and the target    :Attribute Information:        - MedInc        median income in block group        - HouseAge      median house age in block group        - AveRooms      average number of rooms per household        - AveBedrms     average number of bedrooms per household        - Population    block group population        - AveOccup      average number of household members        - Latitude      block group latitude        - Longitude     block group longitude    :Missing Attribute Values: NoneThis dataset was obtained from the StatLib repository.https://www.dcc.fc.up.pt/~ltorgo/Regression/cal_housing.htmlThe target variable is the median house value for California districts,expressed in hundreds of thousands of dollars ($100,000).This dataset was derived from the 1990 U.S. census, using one row per censusblock group. A block group is the smallest geographical unit for which the U.S.Census Bureau publishes sample data (a block group typically has a populationof 600 to 3,000 people).An household is a group of people residing within a home. Since the averagenumber of rooms and bedrooms in this dataset are provided per household, thesecolumns may take surpinsingly large values for block groups with few householdsand many empty houses, such as vacation resorts.It can be downloaded/loaded using the:func:`sklearn.datasets.fetch_california_housing` function... topic:: References    - Pace, R. Kelley and Ronald Barry, Sparse Spatial Autoregressions,      Statistics and Probability Letters, 33 (1997) 291-297

單獨把特徵的名稱找出來。

In [81]:

housing.feature_names

Out[81]:

['MedInc', 'HouseAge', 'AveRooms', 'AveBedrms', 'Population', 'AveOccup', 'Latitude', 'Longitude']

特徵的數據是在 .data 中, 現在來建一個 Data Frame。

In [82]:

cal = pd.DataFrame(housing.data,                    columns=housing.feature_names)

In [83]:

cal.head()

Out[83]:

	MedInc	HouseAge	AveRooms	AveBedrms	Population	AveOccup	Latitude	Longitude
0	8.3252	41.0	6.984127	1.023810	322.0	2.555556	37.88	-122.23
1	8.3014	21.0	6.238137	0.971880	2401.0	2.109842	37.86	-122.22
2	7.2574	52.0	8.288136	1.073446	496.0	2.802260	37.85	-122.24
3	5.6431	52.0	5.817352	1.073059	558.0	2.547945	37.85	-122.25
4	3.8462	52.0	6.281853	1.081081	565.0	2.181467	37.85	-122.25

把要預測的房價也放進來。

In [84]:

cal['MEDV'] = housing.target

In [85]:

cal.head()

Out[85]:

	MedInc	HouseAge	AveRooms	AveBedrms	Population	AveOccup	Latitude	Longitude	MEDV
0	8.3252	41.0	6.984127	1.023810	322.0	2.555556	37.88	-122.23	4.526
1	8.3014	21.0	6.238137	0.971880	2401.0	2.109842	37.86	-122.22	3.585
2	7.2574	52.0	8.288136	1.073446	496.0	2.802260	37.85	-122.24	3.521
3	5.6431	52.0	5.817352	1.073059	558.0	2.547945	37.85	-122.25	3.413
4	3.8462	52.0	6.281853	1.081081	565.0	2.181467	37.85	-122.25	3.422

可以用 seaborn 畫個美美的房價分佈圖。

In [86]:

sns.distplot(cal.MEDV, bins=30)

/usr/local/lib/python3.7/dist-packages/seaborn/distributions.py:2619: FutureWarning: `distplot` is a deprecated function and will be removed in a future version. Please adapt your code to use either `displot` (a figure-level function with similar flexibility) or `histplot` (an axes-level function for histograms).  warnings.warn(msg, FutureWarning)

Out[86]:

再來可以做一個相關係數矩陣 (Correlation Matrix), 並且畫出 "heat map"。

In [88]:

correlation_matrix = cal.corr().round(2)

In [89]:

sns.set(rc={'figure.figsize':(11.7,8.27)})sns.heatmap(correlation_matrix, annot=True)

Out[89]:

接下來我們把輸入輸出分好。

In [90]:

X = cal.loc[:,"MedInc":"Longitude"].valuesY = cal.MEDV

切一下訓練及測試資料。

In [91]:

from sklearn.model_selection import train_test_split

In [92]:

x_train, x_test, y_train, y_test = train_test_split(X, Y,                                                   test_size=0.2,                                                   random_state=9487)

三部曲打造函數學習機!

In [93]:

from sklearn.linear_model import LinearRegression

第一部曲: 開一台函數學習機

In [97]:

model = LinearRegression()

第二部曲: 訓練

In [98]:

model.fit(x_train, y_train)

Out[98]:

LinearRegression()

第三部曲: 測試

In [99]:

y_predict = model.predict(x_test)

現在來計算我們預測的成績。

In [100]:

from sklearn.metrics import mean_squared_error, r2_score

In [101]:

mse = mean_squared_error(y_test, y_predict)r2 = r2_score(y_test, y_predict)print("MSE =", mse)print("R2 =", r2)

MSE = 0.5184271726802216R2 = 0.5955986387884302

用很有創意的方法, 把圖給畫出來。

In [102]:

plt.scatter(y_test, y_predict)plt.xlim(0, 5.5)plt.ylim(0, 5.5)plt.plot([0,5.5],[0,5.5],'r')

Out[102]:

[]

8. 標準的分類問題: 這是哪種鳶尾花

我們現在來看看, 可不可以讓電腦辨識, 這是哪個亞種的鳶尾花?

In [103]:

from sklearn.datasets import load_iris

In [104]:

iris = load_iris()

準備輸入及輸出數據, 注意 4 個特徵我們只用了兩個。

In [105]:

x = iris.datay = iris.target

In [106]:

X = x[:, 2:]Y = y

切分訓練及測試資料。

In [107]:

x_train, x_test, y_train, y_test = train_test_split(X, Y,                                                   test_size=0.2,                                                   random_state=0)

看一下整筆數據的分佈。

In [108]:

plt.scatter(X[:,0], X[:,1], c=Y, cmap='Paired')

Out[108]:

再一次, 三部曲打造函數學習機。

第一部曲：打開一台函數學習機

In [109]:

from sklearn.svm import SVC

In [110]:

clf = SVC()

第二部曲：訓練

In [111]:

clf.fit(x_train, y_train)

Out[111]:

SVC()

第三部曲：測試

In [112]:

y_predict= clf.predict(x_test)

看看我們模型預測和真實狀況差多少?

In [113]:

y_predict - y_test

Out[113]:

array([0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0,       0, 0, 0, 0, 0, 0, 0, 0])

在測試資料中是全對!! 我們畫圖來看看整體表現如何?

In [114]:

x0 = np.linspace(0, 7.5, 500)y0 = np.linspace(0, 2.7, 500)xm, ym = np.meshgrid(x0, y0)P = np.c_[xm.ravel(), ym.ravel()]z = clf.predict(P)Z = z.reshape(xm.shape)plt.contourf(xm, ym, Z, alpha=0.3)plt.scatter(X[:,0], X[:,1], c=Y)

Out[114]:

THE END OF 1.

2.

Python-AI-Book

冒險25_打造自己的Tokenizer(文字型資料的處理).ipynb
https://nbviewer.org/github/yenlung/Python-AI-Book/blob/main/%E5%86%92%E9%9A%AA25_%E6%89%93%E9%80%A0%E8%87%AA%E5%B7%B1%E7%9A%84Tokenizer%28%E6%96%87%E5%AD%97%E5%9E%8B%E8%B3%87%E6%96%99%E7%9A%84%E8%99%95%E7%90%86%29.ipynb#4.-%E6%89%93%E9%80%A0%E8%87%AA%E5%B7%B1%E7%9A%84-Tokenizer

自然語言處理的 tokenization
一般會翻譯做分詞，而 tokenizer 一般會翻譯成分詞器、詞元化。https://ithelp.ithome.com.tw/articles/10298516

【HugBert11】聚沙成塔：关于tokenization（词元化）的解疑释惑

https://zhuanlan.zhihu.com/p/371300063

全部共 2則留言

12-18 15:29:

https://github.com/yenlung/Python-3-Data-Analysis-Basics/blob/master/colab_%E5%B8%B6%E8%91%97%E5%A5%BD%E7%8E%A9%E7%9A%84%E5%BF%83%E6%83%85%E7%8E%A9%E7%8E%A9Python.ipynb