你的位置:首頁(yè) > 傳感技術(shù) > 正文

使用多層感知器進(jìn)行機(jī)器學(xué)習(xí)

發(fā)布時(shí)間:2023-06-07 責(zé)任編輯:lina

【導(dǎo)讀】到目前為止,我們關(guān)注的是單層感知器,它由一個(gè)輸入層和一個(gè)輸出層組成。您可能還記得,我們使用術(shù)語(yǔ)“單層”是因?yàn)榇伺渲脙H包括一層計(jì)算活動(dòng)節(jié)點(diǎn),即通過(guò)求和然后應(yīng)用激活函數(shù)來(lái)修改數(shù)據(jù)的節(jié)點(diǎn)。輸入層中的節(jié)點(diǎn)只是分發(fā)數(shù)據(jù)。


到目前為止,我們關(guān)注的是單層感知器,它由一個(gè)輸入層和一個(gè)輸出層組成。您可能還記得,我們使用術(shù)語(yǔ)“單層”是因?yàn)榇伺渲脙H包括一層計(jì)算活動(dòng)節(jié)點(diǎn),即通過(guò)求和然后應(yīng)用激活函數(shù)來(lái)修改數(shù)據(jù)的節(jié)點(diǎn)。輸入層中的節(jié)點(diǎn)只是分發(fā)數(shù)據(jù)。

單層感知器在概念上很簡(jiǎn)單,訓(xùn)練過(guò)程非常簡(jiǎn)單。不幸的是,它不提供我們復(fù)雜的、現(xiàn)實(shí)生活中的應(yīng)用程序所需的功能。我的印象是,解釋單層感知器的基本限制的標(biāo)準(zhǔn)方法是使用布爾運(yùn)算作為說(shuō)明性示例,這就是我將在本文中采用的方法。

神經(jīng)網(wǎng)絡(luò)邏輯門(mén)

我們將使用一個(gè)極其復(fù)雜的微處理器來(lái)實(shí)現(xiàn)一個(gè)神經(jīng)網(wǎng)絡(luò),該神經(jīng)網(wǎng)絡(luò)可以完成與由少數(shù)晶體管組成的電路相同的事情,這個(gè)想法有些幽默。但與此同時(shí),以這種方式思考這個(gè)問(wèn)題強(qiáng)調(diào)了單層感知器作為一般分類(lèi)和函數(shù)逼近工具的不足——如果我們的感知器不能復(fù)制單個(gè)邏輯門(mén)的行為,我們知道我們需要找到一個(gè)更好的感知器。

讓我們回到本系列篇文章中介紹的系統(tǒng)配置。


使用多層感知器進(jìn)行機(jī)器學(xué)習(xí)


這個(gè)感知器的一般形狀讓我想起了一個(gè)邏輯門(mén),事實(shí)上,它很快就會(huì)變成這樣。假設(shè)我們使用包含輸入向量元素的 0 和 1 的樣本來(lái)訓(xùn)練該網(wǎng)絡(luò),并且僅當(dāng)兩個(gè)輸入都等于 1 時(shí)輸出值才等于 1。結(jié)果將是一個(gè)神經(jīng)網(wǎng)絡(luò),它以類(lèi)似于與門(mén)的電氣行為的方式對(duì)輸入向量進(jìn)行分類(lèi)。

該網(wǎng)絡(luò)輸入的維數(shù)為 2,因此我們可以輕松地將輸入樣本繪制成二維圖形。假設(shè) input0 對(duì)應(yīng)于水平軸,input1 對(duì)應(yīng)于垂直軸。四種可能的輸入組合將排列如下:


使用多層感知器進(jìn)行機(jī)器學(xué)習(xí)


由于我們正在復(fù)制 AND 操作,因此網(wǎng)絡(luò)需要修改其權(quán)重,使輸入向量 [1,1] 的輸出為 1,其他三個(gè)輸入向量的輸出為 0。基于這些信息,讓我們將輸入空間劃分為對(duì)應(yīng)于所需輸出分類(lèi)的部分:


使用多層感知器進(jìn)行機(jī)器學(xué)習(xí)


線(xiàn)性可分?jǐn)?shù)據(jù)

如上圖所示,當(dāng)我們實(shí)現(xiàn) AND 運(yùn)算時(shí),可以通過(guò)繪制一條直線(xiàn)對(duì)繪制的輸入向量進(jìn)行分類(lèi)。線(xiàn)一側(cè)的所有內(nèi)容接收到的輸出值為 1,而另一側(cè)的所有內(nèi)容接收到的輸出值為零。因此,在 AND 運(yùn)算的情況下,呈現(xiàn)給網(wǎng)絡(luò)的數(shù)據(jù)是線(xiàn)性可分的。OR 操作也是如此:


使用多層感知器進(jìn)行機(jī)器學(xué)習(xí)


事實(shí)證明,單層感知器只有在數(shù)據(jù)線(xiàn)性可分的情況下才能解決問(wèn)題。無(wú)論輸入樣本的維數(shù)如何,都是如此。二維情況很容易可視化,因?yàn)槲覀兛梢岳L制點(diǎn)并用一條線(xiàn)將它們分開(kāi)。為了概括線(xiàn)性可分性的概念,我們必須使用“超平面”這個(gè)詞而不是“線(xiàn)”。超平面是在n維空間中可以分離數(shù)據(jù)的幾何特征。在二維環(huán)境中,超平面是一維特征(即一條線(xiàn))。在三維環(huán)境中,超平面是一個(gè)普通的二維平面。在n維環(huán)境中,超平面具有 ( n -1) 維。

解決不可線(xiàn)性分離的問(wèn)題

在訓(xùn)練過(guò)程中,單層感知器使用訓(xùn)練樣本來(lái)確定分類(lèi)超平面的位置。在找到能夠可靠地將數(shù)據(jù)分成正確的分類(lèi)類(lèi)別的超平面后,它就可以采取行動(dòng)了。然而,如果超平面不存在,感知器將不會(huì)找到它。讓我們看一個(gè)不可線(xiàn)性分離的輸入到輸出關(guān)系的例子:


使用多層感知器進(jìn)行機(jī)器學(xué)習(xí)


你承認(rèn)這種關(guān)系嗎?再看一看,無(wú)非是異或運(yùn)算。您不能用直線(xiàn)分隔 XOR 數(shù)據(jù)。因此,單層感知器無(wú)法實(shí)現(xiàn)異或門(mén)提供的功能,如果它無(wú)法執(zhí)行異或運(yùn)算,我們可以放心地假設(shè)許多其他(更有趣的)應(yīng)用程序?qū)⒊鰡?wèn)題的范圍 -解決單層感知器的能力。

幸運(yùn)的是,我們可以通過(guò)簡(jiǎn)單地增加一層額外的節(jié)點(diǎn)來(lái)大大提高神經(jīng)網(wǎng)絡(luò)解決問(wèn)題的能力。這將單層感知器變成了多層感知器 (MLP)。正如上一篇文章所提到的,這一層之所以被稱(chēng)為“隱藏”,是因?yàn)樗c外界沒(méi)有直接的接口。我想您可以將 MLP 視為眾所周知的“黑匣子”,它接受輸入數(shù)據(jù)、執(zhí)行神秘的數(shù)學(xué)運(yùn)算并生成輸出數(shù)據(jù)。隱藏層在那個(gè)黑盒子里面。你看不到它,但它就在那里。


免責(zé)聲明:本文為轉(zhuǎn)載文章,轉(zhuǎn)載此文目的在于傳遞更多信息,版權(quán)歸原作者所有。本文所用視頻、圖片、文字如涉及作品版權(quán)問(wèn)題,請(qǐng)聯(lián)系小編進(jìn)行處理。


推薦閱讀:

霍爾效應(yīng)位置感測(cè):滑動(dòng)配置的響應(yīng)線(xiàn)性度和斜率

汽車(chē)LiDAR GaN的Design Win——高效功率轉(zhuǎn)換引領(lǐng)市場(chǎng)

現(xiàn)代戰(zhàn)術(shù)無(wú)線(xiàn)電需要氮化鎵

推挽電路的坑,你踩過(guò)沒(méi)?

設(shè)計(jì)電荷泵雙極電源


特別推薦
技術(shù)文章更多>>
技術(shù)白皮書(shū)下載更多>>
熱門(mén)搜索
?

關(guān)閉

?

關(guān)閉