1樓：杭白亦
可以考慮使用keras，python寫的深度神經網路庫，已經實現了絕大部分神經網路，如：rnn、gru、lstm，cnn，pooling，full-connected，以及sigmoid、tanh、relu、prelu、srelu等各種啟用函式。並且採用tf/theano作為後端計算引擎，自己本身擁有一套更高層的api，可以同時跑在tf/theano上。
2樓：匿名使用者
relu， 當輸入x>0輸出為x，當x<0時為0
lrelu，當輸入x>0輸出為x，當x<0時為a*x；通常a由人工指定，所有channel使用相同的a，比較小，比如0.1
prelu，當輸入x>0輸出為x，當x<0時為a*x；a由網路反饋時自動計算，每個channel使用不同的a。
他們都是啟用函式，看上去prelu優於lrelu優於relu，在保留有部分的<0資訊又達到了啟用函式的目的。
但是，它們在實際使用中，被資料證明，不會對你的結果產生任何影響，或者說影響已經小到你不需要去關心的地步。
你可以無腦的使用relu就ok啦。
卷積網路的啟用函式sigmod和relu有什麼區別
3樓：匿名使用者
使用sigmod函式會導致將近一半的神經元被啟用。不太符合人類腦活動工程學。
而relu函式在這方面神似，自動引入稀疏性，相當於無監督預練習。
在深度學習中，dnn與dbn兩個網路有什麼區別
4樓：微笑之普利西亞
dnn 從名字上你就可以看出來，是深度神經網路，模擬於淺層神經網路，內它的訓練方法也是bp，沒容有引入無監督的預訓練。隱層的啟用函式使用了 relu,改善了「梯度瀰散」，通過正則化+dropout 改善了過擬合的現象，在輸出層 是softmax 作為啟用函式。目標函式是交叉熵。
他是乙個 有監督的判別模型。
stacked denoised autoencoder (sda)深度學習結構，和dbn類似 使用 無監督的網路「堆疊」起來的，他有分層預訓練來尋找更好的引數，最後使用bp來微調網路。比dnn利用各種演算法來初始化權值矩陣，從經驗上來看是有幫助的。但是缺點也很明顯，每層的貪婪學習權值矩陣，也帶來了過長的訓練時間。
在大量的資料面前 dnn(relu)的效果已經不差於預訓練的深度學習結構了。最終dbn也是看成是「生成模型」。
cnn 也沒有pre-train過程，訓練演算法也是用bp。 因為加入卷積 可以更好的處理2d資料，例如影象和語音。並且目前看來 相比其它網路有更好的表現。
dnn/dbn/sda 等都是處理1d的資料。
5樓：賈梓默
dnn 從名字上你就可
以看出bai來，是深度du神經網路，回模擬於淺層神經網路，它zhi的訓練方法也是答bp，沒dao有引入無監督的預訓練。隱層的啟用函式使用了 relu,改善了「梯度瀰散」，通過正則化+dropout 改善了過擬合的現象，在輸出層 是softmax 作為啟用函式。目標函式是交叉熵。
他是乙個 有監督的判別模型。
stacked denoised autoencoder (sda)深度學習結構，和dbn類似 使用 無監督的網路「堆疊」起來的，他有分層預訓練來尋找更好的引數，最後使用bp來微調網路。比dnn利用各種演算法來初始化權值矩陣，從經驗上來看是有幫助的。但是缺點也很明顯，每層的貪婪學習權值矩陣，也帶來了過長的訓練時間。
在大量的資料面前 dnn(relu)的效果已經不差於預訓練的深度學習結構了。最終dbn也是看成是「生成模型」。
cnn 也沒有pre-train過程，訓練演算法也是用bp。 因為加入卷積 可以更好的處理2d資料，例如影象和語音。並且目前看來 相比其它網路有更好的表現。
dnn/dbn/sda 等都是處理1d的資料。
乙個卷積神經網路中有多少個relu
6樓：
看完整的反射弧中的神經元胞體有幾個，注意必須是完整的反射弧（五個部分）。
一般低等反射弧，例如膝跳反射只有2個神經元，缺少中間神經元
較高等反射弧，例如縮手反射就有3個神經元
python relu啟用函式引數是np怎麼辦
7樓：夏來秋等冬冷
import mathdef sigmoid(x,derivate=false): if derivate: return sigmoid(x)*(1-sigmoid(x)) return 1.
0 / (1+math.exp(-x)) def relu(x): if x > 0:
return x else: return 0sigmoid 求導和其函式值相關
神經網路為什麼要有啟用函式，為什麼relu 能夠防止梯度消失
8樓：zws歲月
增加網路的非線性能力，從而擬合更多的非線性過程。relu在一定程度上能夠防止梯度消失，但防止梯度消失不是用它的主要原因，主要原因是求導數簡單。一定程度是指，右端的不會趨近於飽和，求導數時，導數不為零，從而梯度不消失，但左端問題依然存在，一樣掉進去梯度也會消失。
所以出現很多改進的relu。
9樓：風兒飛
訓練函式和自適應學習函式區別: 從範圍上： 訓練函式包含學習函式，學習函式是屬於訓練函式的一部分； 從誤差上：
訓練函式對整體來說誤差是最小，學習函式對於單個神經元來說誤差是最小； 從服裝整體上： 訓練函式是全域性調整權值和閾值，學習函。
物種和種群有什麼區別，物種和種群的區別和聯絡
自由心回答錯了。環境中所有生物是群落。種群是指同一地點的一群同一物種的生物。強調這乙個集體。物種是指乙個種類的生物，強調種類，即它和其他物種的相同點和不同點。物種包括的範圍大於種群，物種包含所有一類的生物，種群只是生活在一起的同一物種。物種就是乙個種類的動物 比如藏獒就是乙個物種 狗就不屬於 種群是...
ETF和ETF聯接的區別，ETF和ETF聯接的區別是什麼？
etf 即交易型開放式指數 投資 兼具 開放式指數 及封閉式指數 的優勢和特色，是一種高效的指數化投資工具，策略型別豐富。指數 指數 就是以特定指數 如滬深300指數 為標的指數，並以該指數的成份股為投資物件，以追蹤標的指數表現的 產品。交易型開放式指數 通常又被稱為交易所交易 exchange t...
是什麼意思它和有什麼區別,和有什麼區別和聯絡啊
是 的口語 比 表示的 肯定 的語氣更加強烈。和 有什麼區別和聯絡啊?就是語氣上的強調吧 一般好像肯定的用的多一點。和 的區別就是前者可以翻譯成 原來是這樣的啊 後者就是普通的 是嗎?這樣啊?首先 我剛復 才跟旁邊座位的日本人問制 了一下,答曰 區別 我不覺得有區別 我的理解 語氣有點強調,一定讓對...