OpenAI ยังมีโมเดลที่ล้มเหลว
แหล่งที่มาดั้งเดิม: Heart of the Machine
![]()
ที่มาของภาพ: สร้างโดย Unbounded AI
ค่าใช้จ่ายในการฝึกอบรมและการดําเนินงานของรุ่นใหญ่นั้นสูงมากและ OpenAI ก็พยายามลดต้นทุนเช่นกัน แต่น่าเสียดายที่ล้มเหลว
ปลายปีที่แล้วเมื่อ ChatGPT กลายเป็นที่ฮือฮาไปทั่วโลกวิศวกร OpenAI เริ่มทํางานกับโมเดล AI ใหม่ที่มีชื่อรหัสว่า Arrakis Arrakis มีเป้าหมายเพื่อให้ OpenAI สามารถเรียกใช้แชทบอทด้วยต้นทุนที่ต่ํากว่า
แต่ตามที่ผู้คนคุ้นเคยกับเรื่องนี้: ในช่วงกลางปี 2023 OpenAI ได้ยกเลิกการเปิดตัว Arrakis เนื่องจากโมเดลไม่ทํางานอย่างมีประสิทธิภาพตามที่ บริษัท คาดหวัง
![]()
ความล้มเหลวนี้หมายความว่า OpenAI เสียเวลาอันมีค่าและจําเป็นต้องเปลี่ยนทรัพยากรไปสู่การพัฒนาโมเดลต่างๆ
สําหรับการร่วมลงทุน โครงการวิจัยและพัฒนาของ Arrakis จะเป็นสิ่งล้ําค่าสําหรับทั้งสองบริษัทในการเจรจาการลงทุนและข้อตกลงผลิตภัณฑ์มูลค่า 10 พันล้านดอลลาร์ ตามที่พนักงานของ Microsoft คุ้นเคยกับเรื่องนี้ความล้มเหลวของ Arrakis ทําให้ผู้บริหาร Microsoft บางคนผิดหวัง
ยิ่งไปกว่านั้นความล้มเหลวของ Arrakis ยังเป็นลางสังหรณ์ของอนาคตของ AI ที่อาจเต็มไปด้วยข้อผิดพลาดที่ยากต่อการคาดเดา
Arrakis เป็นโมเดลแบบไหน? **
ตามที่ผู้คนคุ้นเคยกับเรื่องนี้ OpenAI หวังว่า Arrakis เป็นโมเดลที่มีประสิทธิภาพเทียบเท่าและมีประสิทธิภาพในการทํางานสูงกว่า GPT-4 วิธีการหลักที่ใช้ในแบบจําลอง Arrakis คือการใช้ประโยชน์จากความเบาบาง
Sparsity เป็นแนวคิดแมชชีนเลิร์นนิงที่นักพัฒนา AI คนอื่น ๆ เช่น Google ยังพูดคุยและใช้งานอย่างเปิดเผย เจฟฟ์ ดีน ผู้บริหารของ Google กล่าวว่า “การประมวลผลแบบเบาบางจะกลายเป็นแนวโน้มที่สําคัญในอนาคต”
OpenAI เริ่มทําการวิจัยเกี่ยวกับความเบาบางในช่วงต้นและพวกเขาแนะนําเคอร์เนลคอมพิวเตอร์ที่เบาบางในปี 2017 Arrakis อาจอนุญาตให้ OpenAI ส่งเสริมเทคโนโลยีของตนอย่างกว้างขวางมากขึ้นเนื่องจาก บริษัท สามารถใช้ชิปเซิร์ฟเวอร์เฉพาะจํานวน จํากัด เพื่อขับเคลื่อนซอฟต์แวร์
ปัจจุบันวิธีทั่วไปในการเพิ่มความเบาบางคือความช่วยเหลือของเทคโนโลยี “ระบบผู้เชี่ยวชาญไฮบริด (MoE)” อย่างไรก็ตาม Ion Stoica ศาสตราจารย์ด้านวิทยาการคอมพิวเตอร์ที่ University of California, Berkeley ได้กล่าวว่า “โดยทั่วไปแล้วยิ่งจํานวนโมเดลผู้เชี่ยวชาญมากเท่าไหร่โมเดลก็ยิ่งเบาบางและมีประสิทธิภาพมากขึ้น เท่านั้น แต่อาจนําไปสู่ผลลัพธ์ที่แม่นยําน้อยกว่าที่สร้างขึ้นโดยแบบจําลอง”
ประมาณฤดูใบไม้ผลิของปีนี้นักวิจัย OpenAI เริ่มฝึกอบรมโมเดล Arrakis ซึ่งเกี่ยวข้องกับการใช้ฮาร์ดแวร์คอมพิวเตอร์ขั้นสูงเพื่อช่วยให้โมเดลประมวลผลข้อมูลจํานวนมาก ตามที่ผู้คนคุ้นเคยกับเรื่องนี้ บริษัท คาดว่าการฝึกอบรม Arrakis จะมีราคาถูกกว่าการฝึกอบรม GPT-4 มาก อย่างไรก็ตามในไม่ช้าทีมวิจัยก็ตระหนักว่าแบบจําลองทํางานได้ไม่ดีพอที่จะบรรลุผลกําไรที่คาดหวัง หลังจากทีมวิจัยใช้เวลาประมาณหนึ่งเดือนในการพยายามแก้ปัญหาผู้นําอาวุโสของ OpenAI ตัดสินใจหยุดฝึกอบรมโมเดล
ข่าวดีก็คือ OpenAI สามารถรวมงานบน Arrakis เข้ากับรุ่นอื่น ๆ เช่น Gobi รุ่นใหญ่หลายรูปแบบที่กําลังจะมาถึง
Arrakis มีประสิทธิภาพต่ํากว่าความคาดหวังของ OpenAI เนื่องจาก บริษัท พยายามปรับปรุงความเบาบางของโมเดลซึ่งหมายความว่าจะใช้โมเดลเพียงบางส่วนเพื่อสร้างการตอบสนองลดต้นทุนการดําเนินงาน สาเหตุที่แบบจําลองทํางานในการทดสอบในช่วงต้น แต่ต่อมาดําเนินการได้ไม่ดีไม่เป็นที่รู้จัก
เป็นมูลค่าการกล่าวขวัญว่าคนที่คุ้นเคยกับเรื่องนี้กล่าวว่าชื่อสาธารณะของ OpenAI ที่พิจารณาสําหรับ Arrakis คือ GPT-4 Turbo
**การลดต้นทุนมีความสําคัญอย่างไร? **
สําหรับ OpenAI ด้วยความกังวลที่เพิ่มขึ้นเกี่ยวกับต้นทุนของเทคโนโลยีและการแพร่กระจายของทางเลือกโอเพ่นซอร์สการทําให้โมเดลมีราคาถูกลงและมีประสิทธิภาพมากขึ้นเป็นสิ่งสําคัญที่สุด
ตามที่ผู้คนคุ้นเคยกับเรื่องนี้ Microsoft ใช้โมเดล GPT ของ OpenAI เพื่อขับเคลื่อนฟีเจอร์ AI ในแอปพลิเคชัน Office 365 และบริการอื่นๆ และ Microsoft คาดว่า Arrakis จะปรับปรุงประสิทธิภาพของฟีเจอร์เหล่านั้นและลดต้นทุน
ในเวลาเดียวกัน Microsoft กําลังเริ่มพัฒนา LLM ของตัวเองและ LLM อาจมีค่าใช้จ่ายน้อยกว่ารุ่นของ OpenAI
แม้ว่าความพ่ายแพ้นี้ไม่ได้ชะลอการพัฒนาธุรกิจของ OpenAI ในปีนี้ OpenAI ก็มีแนวโน้มที่จะลดลงในเส้นทางนี้ด้วยการแข่งขันที่เพิ่มขึ้นในสาขา LLM โดยเฉพาะอย่างยิ่งการวิจัยและพัฒนาที่เร่งตัวขึ้นของยักษ์ใหญ่ด้านเทคโนโลยีเช่น Google และ Microsoft
ลิงก์ต้นฉบับ:
