ช่วงของ learning rate ที่ทำให้ Gradient Descent ลู่เข้า และค่าที่เหมาะที่สุดสำหรับฟังก์ชันกำลังสอง

บทคัดย่อ

การศึกษานี้ตรวจสอบเงื่อนไขที่ทำให้อัลกอริทึม gradient descent ลู่เข้าสำหรับฟังก์ชันกำลังสองในรูป f(x) = ax² (a > 0) และหาค่า learning rate ที่ทำให้จำนวนรอบการวนซ้ำน้อยที่สุด เมื่อนำกฎการอัปเดต x_{k+1} = x_k − αf′(x_k) มาใช้กับ f(x) = ax² จะได้ลำดับเรขาคณิต x_{k+1} = x_k(1 − 2αa) ซึ่งมีรูปปิด x_k = x₀(1 − 2αa)^k และได้พิสูจน์ด้วยอุปนัยเชิงคณิตศาสตร์ จากเงื่อนไขการลู่เข้าของลำดับเรขาคณิต |1 − 2αa| < 1 พบว่าช่วงของ learning rate ที่เสถียรคือ 0 < α < 1/a โดยขอบเขตบนแปรผกผันกับสัมประสิทธิ์ a เมื่อหาค่าต่ำสุดของตัวประกอบการหดตัว |1 − 2αa| ในช่วงดังกล่าว จะได้ learning rate ที่เหมาะสมที่สุดคือ α_opt = 1/(2a) ซึ่งอยู่ที่จุดกึ่งกลางของช่วงการลู่เข้า และทำให้อัลกอริทึมไปถึงจุดต่ำสุดภายในหนึ่งรอบพอดี นอกจากนี้ยังได้นิพจน์สำหรับจำนวนรอบที่ต้องใช้เพื่อให้ถึงค่าความคลาดเคลื่อน ε คือ k ≈ ln(ε/|x₀|) / ln|1 − 2αa| ซึ่งทำนายว่าความสัมพันธ์ระหว่าง α กับจำนวนรอบจะมีลักษณะเป็นรูปตัว U ผลเชิงทฤษฎีเหล่านี้ได้รับการยืนยันเชิงคำนวณด้วยโปรแกรมภาษา Python ที่กวาดค่า α ตั้งแต่ 0.001 ถึง 2 สำหรับ a ∈ {0.5, 1, 5} โดยขอบเขตการลู่เข้าที่สังเกตได้ (2, 1, 0.2) ค่า learning rate ที่เหมาะสมที่สุด (1, 0.5, 0.1) และจำนวนรอบการวนซ้ำ (เช่น 88 รอบที่ α = 0.1 เมื่อ a = 0.5) ล้วนสอดคล้องกับการทำนายทางทฤษฎี การศึกษานี้สรุปได้ว่าพาราโบลาที่ชันกว่าต้องใช้ learning rate ที่เล็กกว่าและมีช่วงที่เสถียรแคบกว่า และแม้ค่า α จะเบี่ยงเบนจาก α_opt เพียงเล็กน้อยก็อาจทำให้จำนวนรอบการวนซ้ำเพิ่มขึ้นหลายเท่าตัว

คำสำคัญ: AI, Gradient descent