MarkTechPost 報導：大型神經網絡模型喺自然語言處理和電腦視覺中佔主導地位，但它們的初始化和學習速率通常依賴於啟發式方法，導致研究和模型大小之間嘅不一致。 μ參數化（μP ）提出咗呢啲參數嘅縮放規則，促進咗由小型模型到大型模型嘅零樣本超參數轉移。 然而，儘管μP具有潛力，但其廣泛採用受到實現複雜性、眾多變化和錯綜複雜嘅理論基礎嘅阻礙。 儘管缺乏關於μP喺大尺度上有效性嘅經驗證據，但引發了對超參數保留以及與解耦權重衰減等現有技術兼容性嘅擔憂。