現在分析一下我們是如何將輸出域從?轉化為??*? 。一階導數，即梯度?g，是一個從??到??的映射，其導數是一個雅可比矩陣 。因此，每一個子函數的導數?g?都由n個從??映射到??的函數組成 。可以這樣想，就好比是對展開成一個向量的梯度向量的每個元素都求導，從而變成向量中的向量，即為一個矩陣 。
要計算黑塞矩陣，需要計算交叉導數，即先對x求導，再對y求導，反過來也可以 。求交叉導數的順序會不會影響結果，換句話說，黑塞矩陣是否對稱 。在這種情況下，函數f為二次連續可微函數（用符號2表示），施瓦茲定理表明交叉導數是相等的，因此黑塞矩陣是對稱的 。一些不連續但可微的函數，不滿 *** 叉導數等式 。
構造函數的黑塞矩陣就相當于求一個標量函數的二階偏導數 。以f(x,y) = x2y3為例，計算結果如下：
文章插圖
可以看到交叉導數6xy2實際上是相等的 。先對x求導得到關于x的偏導數2xy3，再對y求導得到關于y的偏導數6xy2 。對于x或y的每個一元子函數，對角元素都為f? 。
此類函數的拓展部分將討論從??映射到??的多元函數的二階導數的情況，可以將其視為一個二階雅可比矩陣 。這是一個從??到??*?*?的映射，即一個三維張量 。與黑塞矩陣相似，為了求出雅可比矩陣的梯度（求二階微分），要對k x m矩陣的每一個元素微分，得到一個向量矩陣，即為一個張量 。雖然不太可能要求面試者進行手動計算，但了解多元函數的高階導數相當重要 。
文章插圖
本文回顧了機器學習背后重要的微積分基礎知識，列舉了幾個一元和多元函數的例子，討論了梯度、雅可比矩陣和黑塞矩陣，全面梳理了機器學習面試中可能出現的概念和涉及的微積分知識，希望你能面試順利！
文章插圖
留言點贊關注
我們一起分享AI學習與發展的干貨
【對數求導法公式對數求導】如轉載，請后臺留言，遵守轉載規范
推薦閱讀
- 烤箱做紙杯蛋糕的方法 紙杯蛋糕怎么做
- 抖音怎么不讓指定人看抖音不讓指定人看的方法
- 啥味呢面料的保養和洗滌方法有哪些
- 高壓鍋如何做臘八粥 高壓鍋制作臘八粥的方法
- 如何下載頭條的小視頻 今日頭條視頻的下載方法
- 唇釉涂抹方法 如何涂口紅
- 雞蛋減肥的正確方法 雞蛋減肥法的原理是什么
- 最簡單畫眉方法 史上最簡單的畫眉方法
- 如何做紅色的魚食 紅色的魚魚食做法介紹
- 什么方法可以淡化紅眉 淡化紅眉的方法