1樓：AD哥
那麼，谷歌在TF官網的指導案例（這個案例應該新增加不久）是不是沒意義了
Integrated gradients | TensorFlow Core
2樓：
可解釋性現在看來還太早了。
設計簡單通用的可解釋性框架（分類任務、回歸任務等），用已知的可解釋性工具來分析網路的結果、輔助設計更好的模型，短期內更可行，也更有實際價值。
羅馬不是一日建成的。
3樓：Hard Core
目前學界主要的思考方向主要是以下兩個: overparametrization, 和 implicit regularization
可以簡單地思考一下該怎麼解釋深度學習，比如如下幾個問題：
為什麼GD, SGD, NGD, Adam這樣的演算法能收斂的非常好甚至能夠把訓練誤差降低到0？
在什麼情況下訓練誤差很低的模型可以推廣到更多的資料樣本上(generalization)？
當下已經有許多研究表明，SGD能找到global minimizer，比如：
Gradient Descent Finds Global Minima of Deep Neural Networks
而global minimizer絕大多數情況下等同於訓練誤差為0或者很接近0，這又牽扯到了overparamization.
簡單來說，overparamization說的是實驗發現，即使找不到乙個合適的理由這麼做，不斷增加引數的個數能夠降低訓練誤差。以及由此衍生出的無窮維神經網路的研究，在每一層寬度無限大的情況下，神經網路可以看成乙個kernel regression:
Neural Tangent Kernel: Convergence and Generalization in Neural Networks
On Exact Computation with an Infinitely Wide Neural Net
通過研究NTK，或許我們能夠發現更多神經網路的性質。
當然，訓練誤差為0不代表模型能夠推廣到樣本外的測試資料上，但是為什麼很多情況我們可以？現在前沿的思考方向是implicit regularization：之前我們在考慮SGD的收斂的時候發現，雖然我們能找到global minimizer，但是這樣的global minimizer通常不止乙個，不同的初始條件，不同的演算法設計（比如GD,SGD,Adam）都會導致訓練出訓練誤差都為0，但實際上並不一樣的模型。
為了解釋這一現象，現在學界提出，在訓練模型的時候，學習演算法隱含了某種最小化範數的約束，即implicit regularization
4樓：姚冬
研究可解釋性首先要解決的問題是：
你想解釋給誰聽？
誰需要你來解釋？
誰能聽懂你的解釋？
如果這三個問題中的誰不是同一批人，那麼我覺得研究可解釋性是徒勞的。
最壞的結果就是你想給解釋的人不需要解釋，需要聽解釋的人又聽不懂，聽得懂的人你解釋也沒用。
舉個例子，在哈利波特的世界裡，魔法是有可解釋性的，因為這個世界把我提到的問題裡的三個誰統一了，這個誰就是哈利波特羅恩等正在成長的小巫師們，他們需要魔法的解釋，他們也能聽懂，老巫師們也想解釋給他們聽，這就是霍格沃茲魔法學校存在的意義。但是，如果有巫師試圖把魔法解釋給麻瓜聽，那會是一場悲劇。
5樓：Shirui
數學方向有些研究人員從傳統 numerical method 方向給 deep learning 一些解釋，這些工作嘗試從理論上證明 deep learning 不同的網路結構，如ResNet,PolyNet,RevNet, 可以解釋為不同微分方程的數值離散。本人數學學渣，不能更好的去理解，感興趣的同學自己可以看看相關文獻，從數學角度出發，這也許是乙個重要的研究深度學習可解釋性的方面。
Beyond Finite Layer Neural Networks: Bridging Deep Architectures and Numerical Differential Equations
6樓：七星之城
幾篇review了解一下：
Mittelstadt, Brent, Chris Russell, and Sandra Wachter. "Explaining explanations in AI."arXiv preprint arXiv:
1811.01439(2018).
Lipton, Zachary C. "The mythos of model interpretability."arXiv preprint arXiv:
1606.03490(2016).
Explaining Explanations: An Overview of Interpretability of Machine Learning 1806.00069
7樓：
個人觀點: 研究來研究去終歸管中窺豹，普適性的可解釋很有可能不會得到。
但是特定任務場景和資料下會得到一些統計學規律，雖然我覺得這不能稱作為「解釋「了神經網路，但是也是努力的方向，一些有意思的結論可能對deep learning中模型設計有指導意義。
8樓：李進鋒
模型可解釋性關鍵技術、應用及其安全性研究綜述
最近正在寫一篇關於可解釋性的綜述，所以不請自來，表達一下個人的看法。
研究深度學習的可解釋性，首先需要明白什麼是可解釋性，為什麼需要可解釋性，現存的可解釋性方法有哪些，可解釋性技術在深度學習中有什麼應用，現存的可解釋性研究有什麼侷限性，未來的發展方向……
（一）什麼是可解釋性？
籠統來講，可解釋性是指在我們需要了解或解決一件事情的時候，我們可以獲得我們所需要的足夠的可以理解的資訊。17 年 ICML 的 Tutorial 中給出的乙個關於可解釋性的定義是：
Interpretation is the process of giving explanations to Human.
（二）為什麼需要可解釋性？
儘管深度學習模型在許多有意義的任務中勝過了人類，但由於缺乏可解性，其應用也常常飽受質疑。
由於模型結構複雜、引數居多、演算法透明性低，對於普通使用者而言，DNN就如同黑盒一般，我們不知道它內部的工作機制，也不知道其決策過程，因而很難驗證其可靠性，自然就不信任其決策結果。缺乏可解釋性，將可能給安全場景中的深度學習（如自動駕駛，智慧型醫療等）應用帶來潛在的威脅。
因此，要提高模型的透明性，建立模型與使用者之間的信任關係，降低應用中的潛在風險，就需要研究可解釋性。
（三）現存可解釋性方法有哪些？
根據可解釋性發生的先後，深度學習可解釋性可分為Ante-hoc可解釋性和Post-hoc可解釋性。
Ante-hoc：模型自帶可解釋性。在深度學習任務中，選擇自帶可解釋性的模型來訓練，如帶注意力機制的模型。傳統的機器學習中有決策樹、線性模型、廣義加性模型等
Post-hoc：模型本身不帶可解釋性。在深度學習任務中，選則效能最優的模型來訓練，然後開發可解釋性方法來解釋它。Post-hoc又可分為
全域性解釋
區域性解釋
模型無關解釋
模型相關解釋
（四）可解釋性有什麼應用？
模型驗證與模型診斷：驗證模型是否可靠，在學習的過程中是否存在偏差，模型是否存在偏見等？
安全分析：應用於安全領域協助安全分析師……
知識發現：發現模型學習得到的潛在知識
（五）現存方法的有哪些侷限性？
可解釋性與模型的準確性之間存在trade-off
現存方法大多只能提供近似的解釋，不一定能反映模型的真實行為
（六）未來有哪些發展方向？
尚在總結研究中，立個flag，等綜述寫完了來補乙個完整版的回答
9樓：Anticoder
有些東西是不存在解釋性的……至少目前來說99%是徒勞的……那些所謂的結構優化，loss優化，特徵優化，和對其的說辭只是說辭罷了。只是使模型更容易訓練了，原因未知。不過loss優化對神經網路這種端到端的模型更加直接。
另外，有個簡單的想法，神經網路的設計是從目標入手，這種歸納難作出推理。但如果可以通過演繹推理出和神經網路一樣的複雜系統，那麼多少可以從這些性質入手，當然這些性質未必是強原因。
10樓：[已重置]
應該先明確什麼叫可解釋性，可解釋性是解釋什麼東西。簡單的看，可解釋性至少有如下層次：
（1）深度網路和深度學習自身規律的可解釋性，即對深度學習系統的理論描述和分析；
（2）深度學習完成具體任務的流程的可解釋性，即我們能否理解乙個深度網路針對乙個具體任務是如何完成資訊處理的，系統是通過什麼結構提取了資料的什麼資訊；
（3）深度學習完成具體任務流程與人類認知系統匹配意義上的可解釋性，即深度網路處理問題流程的邏輯推理過程是否與人類對同一問題的認知邏輯一致，比如醫學AI系統中，系統的特徵和邏輯是否和我們當前的醫學知識一致。
這三個層次其實是從一般到特殊，從廣義到狹義的。個人理解，（1）中的廣義的可解釋性應該是最基礎的，只要深度學習系統的規律被認知了，則可解釋性已經根本解決，只要乙個系統按照這個規則進行操作，那麼我們人類是否對其處理問題的具體流程的意義可理解（2）已經不重要，進一步，這個流程是否和我們人類的認知邏輯一致（3）就更不重要。但是，人類是以自我為中心的，總是在追求（3），追求不到（3），至少也要追求（2），至於（1），似乎沒有那麼多人在乎，特別是如果是面向應用的話。
如何理解強化學習的可解釋性？
金洺 之前看過幾篇工作是關於模擬agent在執行策略的時候比較關注什麼state，從而理解agent的行為，類似於影象檢測時 以上方法稱為Perturbation based saliency method，主要就是 在已訓練好的模型上計算不同 state 的重要程度，以 saliency map ...
司法解釋性檔案的法律效力？
法務人資訊 可以明確的是，只要在有效期內，司法解釋性檔案有法律效力。最高人民法院研究室說的話法官總是可以聽的，但不能作為判決書裡的法律依據 最高人民法院關於司法解釋工作的規定 第五條最高人民法院發布的司法解釋，具有法律效力。第六條司法解釋的形式分為 解釋 規定 批覆 和 決定 四種。對在審判工作中如...
了解 從事機器學習 深度學習系統相關的研究需要什麼樣的知識結構？
搞機器學習系統的其實有兩撥人。第一類把系統當工具 為了提高機器學習的效率，提出新的資料表示格式 計算過程抽象 平行計算框架 這個流派主要是具有機器學習背景 理解演算法的人，架不住自己碼力很強，覺得現有的工具不好用就自己造輪子。門檻非常高，要理解機器學習且程式設計能力強大。典型代表 MXNet的作者，...