6ES7331-7SF00-0AB0 使用ReLU作為激活函數(shù)；
提出在全連接層使用Dropout避免過擬合。注：當(dāng)BN提出后，Dropout就被BN替代了；
由于GPU顯存太小，使用了兩個(gè)GPU，做法是在通道上分組；。
使用局部響應(yīng)歸一化(Local Response Normalization --LRN)，在生物中存在側(cè)抑制現(xiàn)象，即被激活的神經(jīng)元會(huì)抑制周圍的神經(jīng)元。在這里的目的是讓局部響應(yīng)值大的變得相對(duì)更大，并抑制其它響應(yīng)值相對(duì)比較小的卷積核。例如，某特征在這一個(gè)卷積核中響應(yīng)值比較大，則在其它相鄰卷積核中響應(yīng)值會(huì)被抑制，這樣一來卷積核之間的相關(guān)性會(huì)變小。LRN結(jié)合ReLU，使得模型提高了一點(diǎn)多個(gè)百分點(diǎn)；
使用重疊池化。作者認(rèn)為使用重疊池化會(huì)提升特征的豐富性，且相對(duì)來說會(huì)更難過擬合。
02
集大成之作 （ResNet）
一般而言，網(wǎng)絡(luò)越深越寬會(huì)有更好的特征提取能力，但當(dāng)網(wǎng)絡(luò)達(dá)到一定層數(shù)后，隨著層數(shù)的增加反而導(dǎo)致準(zhǔn)確率下降，網(wǎng)絡(luò)收斂速度更慢。 傳統(tǒng)的卷積網(wǎng)絡(luò)在一個(gè)前向過程中每層只有一個(gè)連接，ResNet增加了殘差連接從而增加了信息從一層到下一層的流動(dòng)。FractalNets重復(fù)組合幾個(gè)有不同卷積塊數(shù)量的并行層序列，增加名義上的深度，卻保持著網(wǎng)絡(luò)前向傳播短的路徑。 相類似的操作還有Stochastic depth和Highway Networks等。這些模型都顯示一個(gè)共有的特征，縮短前面層與后面層的路徑，其主要的目的都是為了增加不同層之間的信息流動(dòng)。
02 后起之秀：Transformers
Transformer是一種self-attention(自注意力)模型架構(gòu)。 2017年之后在NLP領(lǐng)域取得了很大的成功，尤其是序列到序列(seq2seq)任務(wù)，如機(jī)器翻譯和文本生成。2020年，谷歌提出pure transformer結(jié)構(gòu)ViT ，在ImageNet分類任務(wù)上取得了和CNN可比的性能。之后大量ViT衍生的Transformer架構(gòu)在ImageNet上都取得了成功。 Transformer 與 CNN相比優(yōu)點(diǎn)是具有較少的歸納性與先驗(yàn)性，因此可以被認(rèn)為是不同學(xué)習(xí)任務(wù)的通用計(jì)算原語(yǔ)，參數(shù)效率與性能增益與 CNN 相當(dāng)。不過缺點(diǎn)是在預(yù)訓(xùn)練期間，對(duì)大數(shù)據(jù)機(jī)制的依賴性更強(qiáng)，因?yàn)?Transformer 沒有像 CNN 那樣定義明確的歸納先驗(yàn)。因此當(dāng)下出現(xiàn)了一個(gè)新趨勢(shì)：當(dāng) self-attention 與 CNN 結(jié)合時(shí)，它們會(huì)建立強(qiáng)大的基線 ( BoTNet )。 Vision Transformer(ViT)將純Transformer架構(gòu)直接應(yīng)用到一系列圖像塊上進(jìn)行分類任務(wù)，可以取得優(yōu)異的結(jié)果。它在許多圖像分類任務(wù)上也優(yōu)于的卷積網(wǎng)絡(luò)，同時(shí)所需的預(yù)訓(xùn)練計(jì)算資源大大減少。
DETR是第一個(gè)成功地將Transformer作為pipeline中的主要構(gòu)建塊的目標(biāo)檢測(cè)框架。它與以前的SOTA方法(高度優(yōu)化的Faster R-CNN)的性能匹配，具有更簡(jiǎn)單和更靈活的pipeline。
Transformer的變體模型是目前的研究熱點(diǎn)，主要分為以下幾個(gè)類型：
模型輕量化
加強(qiáng)跨模塊連接
自適應(yīng)的計(jì)算時(shí)間
引入分而治之的策略
循環(huán)Transformers
等級(jí)化的Transformer
03 欺騙機(jī)器的眼睛——對(duì)抗性展示
最近引起研究界注意的一個(gè)問題是這些系統(tǒng)對(duì)對(duì)抗樣本的敏感性。 一個(gè)對(duì)抗性的例子是一個(gè)嘈雜的圖像，旨在欺騙系統(tǒng)做出錯(cuò)誤的預(yù)測(cè)。為了在現(xiàn)實(shí)世界中部署這些系統(tǒng)，它們必須能夠檢測(cè)到這些示例。為此，最近的工作探索了通過在訓(xùn)練過程中包含對(duì)抗性示例來使這些系統(tǒng)更強(qiáng)對(duì)抗性攻擊的可能性。 現(xiàn)階段對(duì)模型攻擊的分類主要分為兩大類，即攻擊訓(xùn)練階段和推理階段。
6ES7331-7SF00-0AB0
6ES7331-7SF00-0AB0 S7-300系列型號(hào)大全：
定貨號(hào) 注釋
電源模板
6ES7 307-1BA00-0AA0 電源模塊(2A)
6ES7307-1EA00-0AA0 電源模塊(5A)
6ES7307-1KA01-0AA0 電源模塊(10A)
CPU
6ES7312-1AE13-0AB0 CPU312，32K內(nèi)存
6ES7312-5BE03-0AB0 CPU312C，32K內(nèi)存 10DI/6DO
6ES7313-5BF03-0AB0 CPU313C，64K內(nèi)存 24DI/16DO / 4AI/2AO
6ES7313-6BF03-0AB0 CPU313C-2PTP，64K內(nèi)存 16DI/16DO
6ES7313-6CF03-0AB0 CPU313C-2DP，64K內(nèi)存 16DI/16DO
6ES7314-1AG13-0AB0 CPU314,96K內(nèi)存
6ES7314-6BG03-0AB0 CPU314C-2PTP 96K內(nèi)存 24DI/16DO / 4AI/2AO
6ES7314-6CG03-0AB0 CPU314C-2DP 96K內(nèi)存 24DI/16DO / 4AI/2AO
6ES7315-2AG10-0AB0 CPU315-2DP, 128K內(nèi)存
6ES7315-2EH13-0AB0 CPU315-2 PN/DP, 256K內(nèi)存
6ES7317-2AJ10-0AB0 CPU317-2DP,512K內(nèi)存
6ES7317-2EK13-0AB0 CPU317-2 PN/DP,1MB內(nèi)存
6ES7318-3EL00-0AB0 CPU319-3 PN/DP,1.4M內(nèi)存
內(nèi)存卡
6ES7953-8LF20-0AA0 SIMATIC Micro內(nèi)存卡 64kByte(MMC)
6ES7953-8LG11-0AA0 SIMATIC Micro內(nèi)存卡128KByte(MMC)
6ES7953-8LJ20-0AA0 SIMATIC Micro內(nèi)存卡512KByte(MMC)
6ES7953-8LL20-0AA0 SIMATIC Micro內(nèi)存卡2MByte(MMC)
6ES7953-8LM20-0AA0 SIMATIC Micro內(nèi)存卡4MByte(MMC)
6ES7953-8LP20-0AA0 SIMATIC Micro內(nèi)存卡8MByte(MMC)
開關(guān)量模板
6ES7321-1BH02-0AA0 開入模塊（16點(diǎn)，24VDC）
6ES7321-1BH10-0AA0 開入模塊（16點(diǎn)，24VDC）
6ES7321-1BH50-0AA0 開入模塊（16點(diǎn)，24VDC，源輸入）
6ES7321-1BL00-0AA0 開入模塊（32點(diǎn)，24VDC）
6ES7321-7BH01-0AB0 開入模塊（16點(diǎn)，24VDC，診斷能力）
6ES7321-1EL00-0AA0 開入模塊（32點(diǎn)，120VAC）
6ES7321-1FF01-0AA0 開入模塊（8點(diǎn)，120/230VAC）
6ES7321-1FF10-0AA0 開入模塊（8點(diǎn)，120/230VAC）與公共電位單獨(dú)連接
6ES7321-1FH00-0AA0 開入模塊（16點(diǎn)，120/230VAC）
6ES7321-1CH00-0AA0 開入模塊（16點(diǎn)，24/48VDC）
6ES7321-1CH20-0AA0 開入模塊（16點(diǎn)，48/125VDC）
6ES7322-1BH01-0AA0 開出模塊（16點(diǎn)，24VDC）
6ES7322-1BH10-0AA0 開出模塊（16點(diǎn)，24VDC）高速
6ES7322-1CF00-0AA0 開出模塊（8點(diǎn)，48-125VDC）
6ES7322-8BF00-0AB0 開出模塊（8點(diǎn)，24VDC）診斷能力
6ES7322-5GH00-0AB0 開出模塊（16點(diǎn)，24VDC，獨(dú)立接點(diǎn)，故障保護(hù)）
6ES7322-1BL00-0AA0 開出模塊（32點(diǎn)，24VDC）
6ES7322-1FL00-0AA0 開出模塊（32點(diǎn)，120VAC/230VAC）
6ES7322-1BF01-0AA0 開出模塊（8點(diǎn)，24VDC，2A）
6ES7322-1FF01-0AA0 開出模塊（8點(diǎn)，120V/230VAC）
6ES7322-5FF00-0AB0 開出模塊（8點(diǎn)，120V/230VAC，獨(dú)立接點(diǎn)）
6ES7322-1HF01-0AA0 開出模塊（8點(diǎn),繼電器,2A）
6ES7322-1HF10-0AA0 開出模塊（8點(diǎn),繼電器,5A，獨(dú)立接點(diǎn)）
6ES7322-1HH01-0AA0 開出模塊(16點(diǎn),繼電器)
6ES7322-5HF00-0AB0 開出模塊（8點(diǎn),繼電器,5A，故障保護(hù)）
6ES7322-1FH00-0AA0 開出模塊（16點(diǎn)，120V/230VAC）
6ES7323-1BH01-0AA0 8點(diǎn)輸入，24VDC；8點(diǎn)輸出，24VDC模塊
6ES7323-1BL00-0AA0 16點(diǎn)輸入，24VDC；16點(diǎn)輸出，24VDC模塊
模擬量模板
6ES7331-7KF02-0AB0 模擬量輸入模塊(8路，多種信號(hào))
6ES7331-7KB02-0AB0 模擬量輸入模塊(2路，多種信號(hào))
6ES7331-7NF00-0AB0 模擬量輸入模塊(8路，15位精度)
6ES7331-7NF10-0AB0 模擬量輸入模塊(8路，15位精度)4通道模式
6ES7331-7HF01-0AB0 模擬量輸入模塊(8路，14位精度，快速)
6ES7331-1KF01-0AB0 模擬量輸入模塊(8路, 13位精度)
6ES7331-7PF01-0AB0 8路模擬量輸入,16位,熱電阻
6ES7331-7PF11-0AB0 8路模擬量輸入,16位,熱電偶
6ES7332-5HD01-0AB0 模擬輸出模塊(4路)
6ES7332-5HB01-0AB0 模擬輸出模塊(2路)
6ES7332-5HF00-0AB0 模擬輸出模塊(8路)
6ES7332-7ND02-0AB0 模擬量輸出模塊(4路，15位精度)
6ES7334-0KE00-0AB0 模擬量輸入(4路RTD)/模擬量輸出（2路）
6ES7334-0CE01-0AA0 模擬量輸入(4路)/模擬量輸出（2路）
附件
6ES7365-0BA01-0AA0 IM365接口模塊
6ES7360-3AA01-0AA0 IM360接口模塊
6ES7361-3CA01-0AA0 IM361接口模塊
6ES7368-3BB01-0AA0 連接電纜 (1米)
6ES7368-3BC51-0AA0 連接電纜 (2.5米)
6ES7368-3BF01-0AA0 連接電纜 (5米)
6ES7368-3CB01-0AA0 連接電纜 (10米)
6ES7390-1AE80-0AA0 導(dǎo)軌(480mm)
6ES7390-1AF30-0AA0 導(dǎo)軌(530mm)
6ES7390-1AJ30-0AA0 導(dǎo)軌(830mm)
6ES7390-1BC00-0AA0 導(dǎo)軌(2000mm)
6ES7392-1AJ00-0AA0 20針前連接器
6ES7392-1AM00-0AA0 40針前連接器
功能模板
6ES7350-1AH03-0AE0 FM350-1 計(jì)數(shù)器功能模塊
6ES7350-2AH00-0AE0 FM350-2 計(jì)數(shù)器功能模塊
6ES7351-1AH01-0AE0 FM351 定位功能模塊
6ES7352-1AH02-0AE0 FM352 電子凸輪控制器+組態(tài)包光盤
6ES7355-0VH10-0AE0 FM355C 閉環(huán)控制模塊
6ES7355-1VH10-0AE0 FM355S 閉環(huán)控制系統(tǒng)
6ES7355-2CH00-0AE0 FM355-2C 閉環(huán)控制模塊
6ES7355-2SH00-0AE0 FM355-2S 閉環(huán)控制模塊
6ES7338-4BC01-0AB0 SM338絕對(duì)位置輸入模塊
6ES7352-5AH00-0AE0 FM352-5高速布爾處理器
6ES7352-5AH00-7XG0 FM352-5功能軟件包
通訊模板
6ES7340-1AH02-0AE0 CP340 通訊處理器（RS232）
6ES7340-1BH02-0AE0 CP340 通訊處理器（20mA/TTY）
6ES7340-1CH02-0AE0 CP340 通訊處理器（RS485/RS422）
6ES7341-1AH01-0AE0 CP341 通訊處理器（RS232）
6ES7341-1BH01-0AE0 CP341 通訊處理器（20mA/TTY）
6ES7341-1CH01-0AE0 CP341 通訊處理器（RS485/RS422）
6ES7870-1AA01-0YA0 可裝載驅(qū)動(dòng) MODBUS RTU 主站
6ES7870-1AB01-0YA0 可裝載驅(qū)動(dòng) MODBUS RTU 從站
6ES7902-1AB00-0AA0 RS232電纜 5m
6ES7902-1AC00-0AA0 RS232電纜 10m
6ES7902-1AD00-0AA0 RS232電纜 15m
6ES7902-2AB00-0AA0 20mA/TTY電纜 5m
6ES7902-2AC00-0AA0 20mA/TTY電纜 10m
6ES7902-2AG00-0AA0 20mA/TTY電纜 50m
6ES7902-3AB00-0AA0 RS485/RS422電纜 5m
6ES7902-3AC00-0AA0 RS485/RS422電纜 10m
6ES7902-3AG00-0AA0 RS485/RS422電纜 50m
6GK7342-5DA02-0XE0 CP342-5通訊模塊
6GK7342-5DF00-0XE0 CP342-5 光纖通訊模塊
6GK7343-5FA01-0XE0 CP343-5通訊模塊
6GK7343-1EX30-0XE0 CP343-1 以太網(wǎng)通訊模塊
6GK7343-1EX21-0XE0 CP343-1 以太網(wǎng)通訊模塊
6GK7343-1CX00-0XE0 CP343-1 以太網(wǎng)通訊模塊
6GK7343-1CX10-0XE0 CP343-1 以太網(wǎng)通訊模塊
6GK7343-1GX20-0XE0 CP343-1 IT 以太網(wǎng)通訊模塊
6GK7343-1GX21-0XE0 CP343-1 IT 以太網(wǎng)通訊模塊(支持PROFINET)
6GK7343-1HX00-0XE0 CP343-1PN PROFINET以太網(wǎng)通訊模塊
6GK7343-2AH00-0XA0 CP343-2 AS-Interface
SIMATIC S7-300 系列
PS307 電 源 模 塊
6ES7307-1BA00-0AA0 120/230VAC輸入，24VDC輸出， 2A
6ES7307-1EA00-0AA0 120/230VAC輸入，24VDC輸出， 5A
6ES7307-1KA01-0AA0 120/230VAC輸入，24VDC輸出， 10A
中 央 處 理 單 元 CPU
6ES7312-1AE13-0AB0 CPU312，32K工作內(nèi)存，位操作時(shí)間0.2μs，DI/DO最大256點(diǎn)，AI/AO最大64點(diǎn)
6ES7312-5BE03-0AB0 CPU312C，32K工作內(nèi)存，位操作時(shí)間0.2μs，集成10DI/6DO,2通道高速計(jì)數(shù)，2通道PWM輸出，2通道頻率測(cè)量，PID調(diào)節(jié)；DI/DO最大256點(diǎn)，AI/AO最大64點(diǎn)，1個(gè)40針前連接器（另購(gòu)）
6ES7313-5BF03-0AB0 CPU313C，64K工作內(nèi)存，位操作時(shí)間0.1μs，集成24DI/16DO，4AI/2AO,3通道高速計(jì)數(shù)，2通道PWM輸出，2通道頻率測(cè)量，PID調(diào)節(jié)；DI/DO最大1016/1008點(diǎn)，AI/AO最大253/250點(diǎn)，2個(gè)40針前連接器（另購(gòu)）
6ES7313-6BF03-0AB0 CPU313C-2PtP，64K工作內(nèi)存，位操作時(shí)間0.1μs，RS485點(diǎn)對(duì)點(diǎn)接口，集成16DI/16DO，3通道高速計(jì)數(shù)，2通道PWM輸出，2通道頻率測(cè)量，PID調(diào)節(jié)；DI/DO最大1008點(diǎn)，AI/AO最大248點(diǎn)，1個(gè)40針前連接器（另購(gòu)）
6ES7313-6CF03-0AB0 CPU313C-2DP，64K工作內(nèi)存，位操作時(shí)間0.1μs，PROFIBUS-DP主/從接口，集成16DI/16DO，3通道高速計(jì)數(shù)，2通道PWM輸出，2通道頻率測(cè)量，PID調(diào)節(jié)；DI/DO最大1008
