簡化后的正規方程 :
文章插圖
文章插圖
有的人就會問這玩意怎么得出來的. 別急, 聽我娓娓道來
首先, 原來的正規方程式是找到一個合適的θ將目標值y投影到數據集X上使得損失函數最小, 也就是最小二乘. 那如果我們將y投影到正交矩陣上會發生什么?
文章插圖
文章插圖
將X(數據集構成的矩陣)替換成Q(數據集對應的正交矩陣). 記得我在上面提到的正交矩陣的性質嗎, 正交矩陣的轉置和正交矩陣的乘積是單位矩陣 Q^TQ = I. 所以方程的左半邊就剩下一個θ, 右半邊不變.
這就是標準正交矩陣在正規方程中的用途啦. 它將時間復雜度為O(n^3)的矩陣運算直接簡化掉了, 大大提升了使用正規方程的效率, 也讓正規方程在參數數量龐大的情況下依舊有效.
有些人可能會問, 那什么樣的正交矩陣才能替換原來由數據集構成的矩陣呢, 總不能任何一個正交矩陣都能替換吧. 沒錯, 這個正交矩陣必須在矩陣X的列空間內, 也就是說, 這個正交矩陣Q是通過矩陣X的基衍生出來的. 在同一向量空間內, 向量之間的線性組合仍舊處在該空間內, 所以我們將矩陣X中的向量正交化得出來的正交矩陣, 仍舊處于原來那個向量空間. 這也是為什么簡化后正規方程得出來的參數θ可以被帶回到原來的式子里. 因為正交化后的向量和原向量處在同一向量空間.
如何正交化
Gram-Schmidt正交化的具體過程如下:
文章插圖
文章插圖
來自百度
如圖所示, 假設我們現在有兩個線性無關且不正交的向量a和向量b, 我們需要得到新的正交向量A和B. p是b在a向量上的投影, 而e則是b和a之間的殘差(實際值和觀測值的差). 有A = p, B = e.
根據向量運算和子空間投影,
文章插圖
文章插圖
再在正交向量AB的基礎上令它們除以自身的模長來獲得最終的正交基A’和B’
文章插圖
文章插圖
正交矩陣Q就是由這兩個正交基構成的矩陣.
文章插圖
文章插圖
同理, 如果引入第三個向量c, 則正交向量C等于c減去c在a上和b上的投影, 留下的部分與向量ab正交.
【判斷兩個向量是否正交技巧 兩個向量正交怎么算】
文章插圖
文章插圖
推薦閱讀
- 絕句二杜甫兩個黃鸝鳴翠柳 絕句兩個黃鸝鳴翠柳的意思150
- 誨人不倦代表什么動物，老師有什么特點兩個字？
- 最酷最霸氣的女生名字精選 最酷最霸氣的女生名字精選兩個字
- 一個房間可不可以安兩個路由器 一個房間可不可以安兩個路由器呢
- 怎么判斷冰箱壞了還是燈壞了 冰箱壞了不制冷怎么修
- 如何判斷家養鸚鵡是否認主 如何判斷鸚鵡已經認主人了
- 兩個方法打開dbf方法 dbf文件用什么打開
- 蘋果 7p怎么判斷是否原屏 iPhone7p怎樣判斷原屏
- dw怎么首行縮進兩個字符 dw里面怎么首行空兩個字符
- 刮風天怎么釣魚了 刮風天怎么釣魚