ข้ามไปยังเนื้อหาหลัก

บริการ

Reinforcement Learning: DPO, GRPO และ PPO

ปรับโมเดลให้ตอบแบบที่ผู้ตรวจของคุณชอบ

ปรึกษาเราดู OpenThai 2.0 Legal

OpenThai 2.0 Legal ผ่าน GRPO บนคำถามที่ให้คะแนนแล้ว 8,568 ข้อ โดยใช้ citation F1 เป็นรางวัล

งานที่เราทำให้​

  • DPOฝึกตรงจากคู่คำตอบที่เลือกและไม่เลือก ไม่ต้องมี Reward model แยก
  • GRPOให้คะแนนหลายคำตอบของ Prompt เดียวกันเทียบกันเอง เหมาะกับงานให้เหตุผลและคณิตศาสตร์
  • PPOใช้ Reward model ที่เรียนรู้จากความชอบ สำหรับรางวัลที่ซับซ้อนหรือมีหลายเป้าหมาย

ขั้นตอนการทำงาน​

  1. เก็บข้อมูลความชอบ คู่คำตอบที่เลือกและไม่เลือก หรือการจัดอันดับคำตอบของโมเดล ข้อมูลและเป้าหมายของคุณเป็นตัวกำหนดว่าจะใช้ DPO, GRPO หรือ PPO
  2. Align ฝึกให้โมเดลตอบตามความชอบนั้น โดยยังรักษาความสามารถเดิมไว้
  3. ประเมินและทำซ้ำ ทดสอบความปลอดภัยและ Alignment ทุกรอบ จนได้พฤติกรรมตามเป้า

สิ่งที่คุณได้รับ​

  • โมเดลที่ Align แล้ว
  • ผลทดสอบความปลอดภัยและ Alignment

เริ่มต้น​

บอกเราว่าต้องการให้โมเดลตอบแบบไหน และมีข้อมูลความชอบอะไรอยู่ แล้วเราจะตอบกลับพร้อมขอบเขตงานและใบเสนอราคา อีเมล sale@iapp.co.th หรือโทร 02-124-4041