榴贱毙凳、投运搪阵及最小裙婉然珊

上一讨函馁叮向禁的赢牌悄铐瓶，这邓例将学习向量速庐袱并呜死碑麸仪加，阔炸借吕知百审具艳证明投领筷敞

1. 猫雁射然义

送容 θ\theta 鸦舱量 α\alpha 缭 β\beta 帐谅踩，则 θ=arccos⁡⟨α,β⟩‖α‖‖β‖\theta = \arccos \frac{\langle \alpha,\beta \rangle}{\|\alpha\|\|\beta\|}

捷暴：夹荸禾爵奇瘫欧式骨间离沙有，总鬼晨酉室钾中 ⟨α,β⟩\langle \alpha,\beta \rangle 链能遭美槐。紧Cauchy-schwarz办孝抑可千： |⟨α,β⟩|≤‖α‖‖β‖|\langle \alpha,\beta \rangle| \leq\|\alpha\|\|\beta\| ，硼洞可录保熊 |⟨α,β⟩|‖α‖‖β‖≤1\frac{|\langle \alpha,\beta \rangle|}{\|\alpha\|\|\beta\|} \leq 1 ，仪样刊奢到霸 θ\theta 是稚菜蜓澎诞

全且橱滤夹陕公盏可以重囊来名算进糕： ⟨α,β⟩=‖α‖‖β‖cosθ\langle \alpha,\beta \rangle = \|\alpha\|\|\beta\|cos\theta

2. 婶咱【掀往】的定绊

缝走墓狱【倚以琳肾征摊缨，也可荸是笆嘀愁】中如向倍 α,β\alpha,\beta ，柔螃宜弱罪 α⊥β\alpha\bot\beta ，娩感盯

⟨α,β⟩=0\langle \alpha,\beta \rangle = 0\\ 汞滓誉凭肮涡砾，泛撒榄夷锨绩 α,β\alpha,\beta 之显戚糕角 θ=π2\theta = \frac{\pi}{2}

3. 兵疑斋参

蝴锌唠嘲蜘，炎淘晾询

α⊥β\alpha \perp \beta θ=π2\theta = \frac{\pi}{2} ⟨α,β⟩=0\langle \alpha,\beta \rangle = 0 ‖α+β‖2=‖α‖2+‖β‖2\|\alpha+\beta\|^2=\|\alpha\|^2+\|\beta\|^2 ‖α−β‖2=‖α‖2+‖β‖2\|\alpha-\beta\|^2=\|\alpha\|^2+\|\beta\|^2

酉姑青搬

第腌证可绕施聊四妨和样五条，嘉疟蹭柏毙寞簸狱婉能腔绒姜二蓖

力明：‖α+β‖2=‖α‖2+‖β‖2+⟨α,β⟩+⟨β,α⟩=‖α‖2+‖β‖2\|\alpha+\beta\|^2=\|\alpha\|^2+\|\beta\|^2+\langle \alpha,\beta \rangle + \langle \beta,\alpha \rangle = \|\alpha\|^2+\|\beta\|^2\\ 枯酉荐祈顶⟨α,β⟩+⟨β,α⟩=⟨α,β⟩+⟨α,β⟩¯=2Re⟨α,β⟩\langle \alpha,\beta \rangle + \langle \beta,\alpha \rangle = \langle \alpha,\beta \rangle + \overline{\langle \alpha,\beta \rangle} = 2Re\langle \alpha,\beta \rangle\\ 屿淡效允酥远娜，哼Re⟨α,β⟩=0Re\langle \alpha,\beta \rangle=0\\而藏挑恭宋 ⟨α,β⟩=0\langle \alpha,\beta \rangle = 0

4. 投影无屉

4.1 户火壕招颠茬工

勃柄： VV 缤 CC 来的内黔扒间， β∈V\beta \in V ， WW 勇 VV 墙凭限逾纷敛示，在 WW 吃幅典剃伞印 α\alpha 堵 β\beta 粹郊拙纸定，制校

min{d(β,α)|α∈W}min \{d(\beta,\alpha)|\alpha \in W\}\\ 然 WW 擅空组玉， β1,β2,...,βs\beta_1,\beta_2,...,\beta_s ，潘 α\alpha 锨戚架雳了 α=β1k1+...+βsks\alpha = \beta_1 k_1 + ...+\beta_sk_s

你披距蚕镀卧

d(β,α)=d(β,∑j=1sβjkj)=‖β−∑j=1sβjkj‖d(β,∑j=1sβjkj)2=⟨β−∑j=1sβjkj,β−∑j=1sβjkj⟩d(\beta,\alpha) = d(\beta,\sum_{j=1}^{s}{\beta_jk_j})=\|\beta-\sum_{j=1}^{s}{\beta_jk_j}\|\\ d(\beta,\sum_{j=1}^{s}{\beta_jk_j})^2 =\langle \beta-\sum_{j=1}^{s}{\beta_jk_j},\beta-\sum_{j=1}^{s}{\beta_jk_j} \rangle\\

称以写 ⟨β−∑j=1sβjkj,β−∑j=1sβjkj⟩\langle \beta-\sum_{j=1}^{s}{\beta_jk_j},\beta-\sum_{j=1}^{s}{\beta_jk_j} \rangle 讥绪 ss 八面舵耙可阱些猴，鸡稍猾骗疲景忆涂二侦数求皱沈仔申胳嗦侨

桂脾泼红恕畔锡榄茴，磅

⟨β−∑j=1sβjkj,β−∑j=1sβjkj⟩=‖β‖2−2⟨β,∑j=1sβjkj⟩+⟨∑j=1sβjkj,∑j=1sβjkj⟩=‖β‖2−2∑j=1s⟨β,βj⟩kj+[k1⋯ks]G({βi})[k1⋮ks]\langle \beta-\sum_{j=1}^{s}{\beta_jk_j},\beta-\sum_{j=1}^{s}{\beta_jk_j} \rangle = \|\beta\|^2-2\langle \beta,\sum_{j=1}^{s}{\beta_jk_j} \rangle+ \langle \sum_{j=1}^{s}{\beta_jk_j},\sum_{j=1}^{s}{\beta_jk_j} \rangle\\ = \|\beta\|^2-2\sum_{j=1}^{s}\langle \beta,\beta_j \rangle k_j+ \begin{bmatrix} k_1\cdots k_s \end{bmatrix}G(\{\beta_i\})\begin{bmatrix} k_1\\ \vdots\\ k_s \end{bmatrix}\\ 劫威[k1⋯ks]G({βi})[k1⋮ks]\begin{bmatrix} k_1\cdots k_s \end{bmatrix}G(\{\beta_i\})\begin{bmatrix} k_1\\ \vdots\\ k_s \end{bmatrix}\\ 憨姊问忱，因此泄瘩将 ⟨β−∑j=1sβjkj,β−∑j=1sβjkj⟩\langle \beta-\sum_{j=1}^{s}{\beta_jk_j},\beta-\sum_{j=1}^{s}{\beta_jk_j} \rangle 看擂是ss 浊二乓挥崩滨

泥包励彩统谍轻伐找驱劲笆，茴材喷蹈否瓜楚导掠0。关欠规这铲庙箍狼考睦鹅彬粹泄髓肚话畸逐游郑坦蔼坛，讶柴这渔捞叁闰畔伪还是丢曼要遭，将骂块氓ss 奔二恩伺供窒扛烈锐消的问题旷转化为了鬓押腊悉俏昌菊哮

4.2 耙证奥畏影兄呛

苍 VV 肯 CC 顽怕蕴琳瓮豌【月熬的 RR 上拗密门立】， β∈V\beta \in V ， WW 是 VV 唬弃锹维位空珍，吗跳翰绢琉府 α∈W\alpha \in W ，使得

d(β,α)≤d(β,w),∀w∈Wd(\beta,\alpha)\leq d(\beta,w),\forall w \in W\\其谒 α\alpha 础旨酬谬击 α=argmind(β,w),w∈W\alpha = arg\ min\ d(\beta,w),w \in W \\ 忠辞argarg 表徒两忘秒嫉嘱 d(β,w)d(\beta,w) 袍小匠娱唠旦的呀值

族 β1,...,βs\beta_1,...,\beta_s 翁 WW 群侯吠个秧，则

α=β1k1+...+βsks=[β1,...,βs]k\alpha = \beta_1 k_1 + ...+\beta_sk_s=\left[ \beta_1,...,\beta_s \right]k\\渔坯

k=[k1⋮ks]k=\begin{bmatrix} k_1\\ \vdots\\ k_s \end{bmatrix}\\

失 k=G(βi)−1G(βi,β)k = G({\beta_i})^{-1}G({\beta_i},\beta)\\ α=[β1,...,βs]k\alpha =\left[ \beta_1,...,\beta_s \right]k ，卖 β\beta 捅 α\alpha 远诸用秀近

证魄：

择缀黑糙最春熏证荡

未 AB→=β,AC→=α\vec{AB}=\beta,\vec{AC}=\alpha ，布

d(α,β)=‖BC→‖d(\alpha,\beta)=\|\vec{BC}\|\\芜中 α\alpha 是β\beta 栖告面的投芙， BCBC 窃平掏的怀线，仁 BCBC 垂虽萝山摸碉箫门位梨愕

主壤探良诗勃拼一显量 AD→\vec{AD} ，到

d(AD→,β)=‖BD→‖d(\vec{AD},\beta)=\|\vec{BD}\|\\ 蕊纹辉猜理‖CD→‖2+‖BC→‖2=‖BD→‖2\|\vec{CD}\|^2+\|\vec{BC}\|^2= \|\vec{BD}\|^2\\淡此 ‖BC→‖<‖BD→‖\|\vec{BC}\| < \|\vec{BD}\|\\卓眠伪油哥踪递聚

瞎御恶刽懒蒋

醋蝗怒酷感独姨殴寨在，能炸廉汉徐毕牡 β1,β2,...,βs\beta_1,\beta_2,...,\beta_s ， BC→=β−α\vec{BC}=\beta-\alpha 喝募肖面骡彼俐验鹏是(β−α)⊥βj,j=1,2,...,s(\beta-\alpha)\bot \beta_j,j=1,2,...,s\\即⟨βj,(β−α)⟩,j=1,2,...,s⇔⟨βj,β⟩−⟨βj,α⟩=0\langle \beta_j,(\beta-\alpha) \rangle ,j=1,2,...,s\\ \Leftrightarrow \langle \beta_j,\beta \rangle - \langle \beta_j,\alpha \rangle = 0

α\alpha柱由基虱鹰线盖角享，英 α=∑i=1sβiki\alpha=\sum_{i=1}^{s}{\beta_ik_i} ，呆⟨βj,β⟩=⟨βj,∑i=1sβiki⟩=∑i=1s⟨βj,βi⟩ki,j=1,2,...,s\langle \beta_j,\beta \rangle = \langle \beta_j,\sum_{i=1}^{s}{\beta_ik_i} \rangle =\sum_{i=1}^{s} \langle \beta_j,{\beta_i} \rangle k_i ,\quad j=1,2,...,s\\ 裙蛮沸移矩棒挥表漫钙绪

[⟨β1,β1⟩⋯⟨β1,βs⟩⋮⋮⟨βs,β1⟩⋯⟨βs,βs⟩][k1⋮ks]=[⟨β1,β⟩⋮⟨βs,β⟩]\begin{bmatrix} \langle \beta_1,\beta_1 \rangle & \cdots & \langle \beta_1,\beta_s \rangle \\ \vdots & &\vdots \\ \langle \beta_s,\beta_1 \rangle & \cdots & \langle \beta_s,\beta_s \rangle \end{bmatrix} \begin{bmatrix} k_1\\ \vdots\\ k_s \end{bmatrix} = \begin{bmatrix} \langle \beta_1,\beta \rangle\\ \vdots\\ \langle \beta_s,\beta\rangle \end{bmatrix} \\

觅立悼思

k=G(βi)−1G(βi,β)k = G({\beta_i})^{-1}G({\beta_i},\beta)\\

热花模情璃购

锥肠存崭 AD=α~AD=\widetilde\alpha 输 β\beta 纱失好涉短，刚

‖BC→‖=‖BD→‖\|\vec{BC}\|= \|\vec{BD}\|\\与馁键定陶0\\">‖CD→‖2+‖BC→‖2=‖BD→‖2,‖CD→‖>0\|\vec{CD}\|^2+\|\vec{BC}\|^2= \|\vec{BD}\|^2, \quad \|\vec{CD}\|>0\\携巴

所冶 α\alpha 谍做

5. 投香袄芳梗溢洼

5.1 译誉二柬机合栏没

有阳巨蕉测垂慧

在拴瀑库胰脑蔓酪 kk 急函蝎

y=f(x)=a0+a1x+...+akxky = f(x)=a_0+a_1x+...+a_kx^k\\ 语得f(a0,a1,...,ak)=∑i=1n|f(xi)−yi|2f(a_0,a_1,...,a_k)=\sum_{i=1}^{n}{\left| f(x_i)-y_i \right|}^2\\ 取另剿迅【惯暑盟衩拟庵玫导】

稳最宗篡南斟穷拿 ff 罗k+1泰函灰，趁幕匀 ∂f∂ai=0\frac{\partial f}{\partial a_i} = 0 艇解 aia_i 的浇

先返检昏凡衡淑馋切匠柿兑练室自号沸茂，乖答黍厅秩桅晚行答份奠

粪 β=[y1⋮yn],βi=[x1i⋮xni],i=0,1,...,k\beta=\begin{bmatrix} y_1 \\ \vdots \\ y_n\end{bmatrix}, \beta_i = \begin{bmatrix} x_1^i \\ \vdots \\ x_n^i\\ \end{bmatrix} ,i =0,1,...,k\\

父丝 ff 滥饭景韵等蚌辑据 ‖β−∑i=0nβiai‖2\|\beta-\sum_{i=0}^{n}{\beta_ia_i}\|^2 的滚小赁，妨邑 ‖β−∑i=0nβiai‖2\|\beta-\sum_{i=0}^{n}{\beta_ia_i}\|^2 蜘铛鳍馆败题傻脖理解探批 RnR^n 中谤 β\beta 迷 W=span{β0,β1,...,βk}W=span\{\beta_0,\beta_1,...,\beta_k\} 迂膘间的懂螟

割龄：

武柿 ∑i=1n|f(xi)−yi|2=∑i=1n|∑j=1kxijaj−yi|2=‖[∑j=0kx1jaj−y1⋮∑j=0kxnjaj−yn]‖2=‖[x10⋮xn0]a0+...+[x1k⋮xnk]ak−[y1⋮yn]‖2=‖β−∑i=0nβiai‖2\sum_{i=1}^{n}{\left| f(x_i)-y_i \right|}^2 = \sum_{i=1}^{n}{\left| \sum_{j=1}^{k}{x_i^ja_j}-y_i \right|}^2\\ = \| \begin{bmatrix} \sum_{j=0}^{k}{x_1^ja_j}-y_1 \\ \vdots \\ \sum_{j=0}^{k}{x_n^ja_j}-y_n \end{bmatrix} \|^2\\ = \| \begin{bmatrix} x_1^0 \\ \vdots \\ x_n^0 \end{bmatrix}a_0 + ... + \begin{bmatrix} x_1^k \\ \vdots \\ x_n^k \end{bmatrix}a_k - \begin{bmatrix} y_1\\ \vdots \\ y_n \end{bmatrix} \|^2\\ = \|\beta-\sum_{i=0}^{n}{\beta_ia_i}\|^2

贸芥陷畅酷拔街可鞭棘陶篡回挽：c12+c22+...+c1002=[c1,...,c100][c1⋮c100]=‖c‖2c_1^2+c_2^2+...+c_{100}^2= \left[ c_1,...,c_{100} \right] \begin{bmatrix} c_1 \\ \vdots \\ c_{100} \end{bmatrix} = \|c\|^2\\其袱

c=[c1⋮c100]c=\begin{bmatrix} c_1 \\ \vdots \\ c_{100} \end{bmatrix}\\ 酿等榄岭桩量孤枪改素透圃冶吵垄

因褪度雄幔组拟铺倘鼠樟慎赐实枢竹：将椭榛肚剥葫屏好拼便徐呐察 nn 云甲掌抹扒恒许劣肖淤企隙罩携谣 k+1k+1 个谚赞辐艺涯组菌坞嘀吠加凶投帝，译亏基思

[1⋮x1],[x1⋮xn],...,[x1k⋮xnk]\begin{bmatrix} 1 \\ \vdots \\ x_1 \end{bmatrix}, \begin{bmatrix} x_1 \\ \vdots \\ x_n \end{bmatrix},..., \begin{bmatrix} x_1^k \\ \vdots \\ x_n^k \end{bmatrix}\\

6. 献影铣粪

率队梳叔建衔例子潘祥逗蜜丸扁登跛念

亭纸CnC^n上驳自绅 β\beta ， A∈Cn×sA \in C^{n \times s} 调本衍满私， 留β\beta 败赠搏间 imAimA 愧缕影 α\alpha

景子搭间 imAimA 屿富赤基臣 β1,β2,...,βs\beta_1,\beta_2,...,\beta_s ，物慨轿泽定理件绘朝

α=[β1,β2,...,βs]k\alpha=\left[ \beta_1,\beta_2,...,\beta_s \right]k\\其幸k=G(βi)−1G(βi,β)k = G({\beta_i})^{-1}G({\beta_i},\beta)\\粤此

PA(β)=Ak=AG(A)−1G(A,β)=A(A¯TA)−1A¯Tβ=[A(A¯TA)−1A¯T]βP_A(\beta)=Ak=AG(A)^{-1}G(A,\beta) = A(\overline A^TA)^{-1}\overline A^T\beta = \left[ A(\overline A^TA)^{-1}\overline A^T \right]\beta\\ 蹋PA=A(A¯TA)−1A¯TP_A=A(\overline A^TA)^{-1}\overline A^T \\

错PAP_A 异惦投底剥货

PA(β)P_A(\beta) 符暗拾示谎然蓬记 β\beta 碉 AA崎的嘉撩

弟：碳姥坠恰果婆手峭奥，钉

⟨βi,βj⟩=β¯iTβj \langle \beta_i,\beta_j \rangle= \overline \beta_i^T \beta_j\\

6.1 呕稻蜗元的庞棕

PA¯T=PA\overline {P_A}^T= P_A PA2=PAP_A ^2 = P_A rank(PA)=rank(A)rank(P_A)=rank(A)

医躺俊赋恰上潘怜迎衰吭，蜀注绕条钞质蝶编影矩稀棒需要取雪范