Mô hình AI thế hệ tiếp theo của OpenAI gặp giới hạn hiệu suất

Updated: 13/11/2024 at 6:00

Mô hình trí tuệ nhân tạo mới của OpenAI mang lại những cải tiến hiệu suất nhỏ hơn so với các phiên bản trước đó, theo các nguồn tin từ The Information.

Kết quả thử nghiệm cho thấy Orion đạt hiệu suất ngang với GPT-4 sau khi hoàn thành chỉ 20% quá trình đào tạo. Tuy nhiên, sự cải thiện từ GPT-4 lên GPT-5 hiện tại dường như nhỏ hơn so với sự nhảy vọt từ GPT-3 lên GPT-4.

“Một số nhà nghiên cứu tại công ty cho rằng Orion không thực sự vượt trội hơn người tiền nhiệm trong việc xử lý một số nhiệm vụ cụ thể,” các nhân viên OpenAI cho biết. “Orion hoạt động tốt hơn ở các nhiệm vụ ngôn ngữ nhưng có thể không vượt qua các mô hình trước đó trong các nhiệm vụ như lập trình.”

Mặc dù việc Orion đạt được mức độ GPT-4 chỉ sau 20% thời gian đào tạo có vẻ ấn tượng, cần lưu ý rằng các giai đoạn đầu của quá trình đào tạo AI thường mang lại những cải tiến lớn nhất, trong khi các giai đoạn sau thường chỉ mang lại những tiến bộ nhỏ hơn.

Những hạn chế này xuất hiện trong bối cảnh OpenAI vừa nhận được khoản tài trợ 6,6 tỷ USD, với những kỳ vọng lớn từ các nhà đầu tư và đối mặt với các ràng buộc kỹ thuật thách thức các phương pháp mở rộng truyền thống trong phát triển AI. Nếu các phiên bản đầu tiên không đáp ứng được kỳ vọng, các nỗ lực gây quỹ sắp tới của công ty có thể không nhận được sự nhiệt tình như trước đây – điều này có thể gây khó khăn cho một công ty tiềm năng có lợi nhuận như mong muốn của Sam Altman đối với OpenAI.

Kết quả không như mong đợi cho thấy một thách thức cơ bản đối với toàn bộ ngành AI: sự suy giảm nguồn dữ liệu đào tạo chất lượng cao và nhu cầu duy trì tính cạnh tranh trong lĩnh vực AI sáng tạo.

Nghiên cứu công bố vào tháng 6 dự đoán rằng các công ty AI sẽ cạn kiệt dữ liệu văn bản do con người tạo ra công khai từ năm 2026 đến năm 2032, đánh dấu một điểm uốn quan trọng cho các phương pháp phát triển truyền thống.

“Các phát hiện của chúng tôi chỉ ra rằng các xu hướng phát triển LLM hiện tại không thể duy trì thông qua việc mở rộng dữ liệu thông thường,” nghiên cứu cho biết, nhấn mạnh nhu cầu về các phương pháp tiếp cận thay thế để cải thiện mô hình, bao gồm tạo dữ liệu tổng hợp, học chuyển tiếp từ các miền dữ liệu phong phú và sử dụng dữ liệu không công khai.

Chiến lược lịch sử của việc đào tạo các mô hình ngôn ngữ trên văn bản có sẵn công khai từ các trang web, sách và các nguồn khác đã đạt đến điểm giảm dần lợi nhuận, với các nhà phát triển đã “khai thác hầu hết những gì có thể từ loại dữ liệu đó,” theo The Information.

Cách OpenAI đối phó với vấn đề này: Mô hình lý luận vs. Mô hình ngôn ngữ

Để đối phó với những thách thức này, OpenAI đang tái cấu trúc cơ bản cách tiếp cận phát triển AI của mình.

“Để đáp lại thách thức gần đây đối với các quy luật mở rộng dựa trên đào tạo do sự cải thiện chậm lại của GPT, ngành công nghiệp dường như đang chuyển nỗ lực sang cải thiện các mô hình sau khi đào tạo ban đầu, có khả năng tạo ra một loại quy luật mở rộng khác,” The Information báo cáo.

Để đạt được trạng thái cải thiện liên tục này, OpenAI đang tách việc phát triển mô hình thành hai hướng riêng biệt:

Dòng O (có thể là mật danh Strawberry), tập trung vào khả năng lý luận, đại diện cho một hướng mới trong kiến trúc mô hình. Các mô hình này hoạt động với cường độ tính toán cao hơn đáng kể và được thiết kế đặc biệt cho các nhiệm vụ giải quyết vấn đề phức tạp.

Nhu cầu tính toán rất lớn, với ước tính ban đầu cho rằng chi phí hoạt động gấp sáu lần so với các mô hình hiện tại. Tuy nhiên, khả năng lý luận nâng cao có thể biện minh cho chi phí tăng cao đối với các ứng dụng cụ thể yêu cầu xử lý phân tích nâng cao.

Mô hình này, nếu nó giống như Strawberry, cũng có nhiệm vụ tạo ra đủ dữ liệu tổng hợp để liên tục nâng cao chất lượng của LLM của OpenAI.

Song song, các Mô hình Orion hoặc dòng GPT (xem xét việc OpenAI đã đăng ký nhãn hiệu GPT-5) tiếp tục phát triển, tập trung vào xử lý ngôn ngữ và các nhiệm vụ giao tiếp chung. Các mô hình này duy trì yêu cầu tính toán hiệu quả hơn trong khi tận dụng cơ sở kiến thức rộng lớn hơn để thực hiện các nhiệm vụ viết và lập luận.

CPO Kevin Weil của OpenAI cũng đã xác nhận điều này trong một AMA và cho biết ông mong đợi sẽ hội tụ cả hai phát triển này tại một thời điểm nào đó trong tương lai.

“Nó không phải là một trong hai, mà là cả hai,” ông trả lời khi được hỏi liệu OpenAI sẽ tập trung vào việc mở rộng LLM với nhiều dữ liệu hơn hay sử dụng cách tiếp cận khác, tập trung vào các mô hình nhỏ hơn nhưng nhanh hơn, “các mô hình cơ bản tốt hơn cộng với nhiều quy mô thời gian suy luận / tính toán Strawberry hơn.”

Giải pháp tạm thời hay giải pháp cuối cùng?

Cách tiếp cận của OpenAI trong việc giải quyết vấn đề khan hiếm dữ liệu thông qua tạo dữ liệu tổng hợp mang đến những thách thức phức tạp cho ngành công nghiệp. Các nhà nghiên cứu của công ty đang phát triển các mô hình tinh vi để tạo dữ liệu đào tạo, nhưng giải pháp này đưa ra những phức tạp mới trong việc duy trì chất lượng và độ tin cậy của mô hình.

Như đã báo cáo trước đó, các nhà nghiên cứu nhận thấy rằng đào tạo mô hình trên dữ liệu tổng hợp là một con dao hai lưỡi. Mặc dù nó cung cấp một giải pháp tiềm năng cho vấn đề khan hiếm dữ liệu, nhưng nó cũng đưa ra những rủi ro mới về suy thoái mô hình và các mối quan tâm về độ tin cậy với suy thoái đã được chứng minh sau một vài lần lặp đào tạo.

Nói cách khác, khi các mô hình được đào tạo trên nội dung do AI tạo ra, chúng có thể bắt đầu khuếch đại các sai sót tinh vi trong đầu ra của mình. Những vòng lặp phản hồi này có thể duy trì và phóng đại các thành kiến hiện có, tạo ra hiệu ứng tích lũy ngày càng khó phát hiện và sửa chữa.

Nhóm Nền tảng của OpenAI đang phát triển các cơ chế lọc mới để duy trì chất lượng dữ liệu, thực hiện các kỹ thuật xác thực khác nhau để phân biệt giữa nội dung chất lượng cao và nội dung tổng hợp có thể có vấn đề. Nhóm cũng đang khám phá các phương pháp đào tạo kết hợp chiến lược kết hợp nội dung do con người và AI tạo ra để tối đa hóa lợi ích của cả hai nguồn trong khi giảm thiểu các nhược điểm tương ứng của chúng.

Tối ưu hóa sau đào tạo cũng đã trở nên quan trọng. Các nhà nghiên cứu đang phát triển các phương pháp mới để nâng cao hiệu suất mô hình sau giai đoạn đào tạo ban đầu, có thể cung cấp một cách để cải thiện khả năng mà không chỉ dựa vào việc mở rộng tập dữ liệu đào tạo.

Nói vậy, GPT-5 vẫn là một mô hình đang trong giai đoạn phôi thai với công việc phát triển đáng kể ở phía trước. Sam Altman, CEO của OpenAI, đã chỉ ra rằng nó sẽ không sẵn sàng triển khai trong năm nay hoặc năm tới. Thời gian dài này có thể chứng tỏ là một lợi thế, cho phép các nhà nghiên cứu giải quyết các hạn chế hiện tại và có khả năng phát hiện các phương pháp mới để cải thiện mô hình, nâng cao đáng kể GPT-5 trước khi ra mắt.

Tham gia Telegram: https://t.me/tapchibitcoinvn

Twitter (X): https://twitter.com/tapchibtc_io

Tiktok: https://www.tiktok.com/@tapchibitcoin

Thạch Sanh

Theo Decrypt

Được đề cập trong bài viết
Bình luận
Mới cập nhật

Khi tháng 7 bắt đầu, thị trường tiền điện tử tiếp tục đối mặt với làn sóng áp lực ngày càng gia tăng, bắt nguồn từ căng thẳng địa chính trị leo thang giữa Israel và Iran, cùng sự đảo chiều trong tâm lý nhà đầu tư. Việc Mỹ gia... ...

Litecoin (LTC) đã lấy lại đà tăng sau khi đóng trên ngưỡng 85 đô la. Hiện tại, giá đang dao động quanh 85,33 đô la. Đóng nến hàng ngày trên đường xu hướng kháng cự quan trọng này đã thắp lên hy vọng trong giới phân tích, với các dự... ...

Các trader Bitcoin kỳ vọng tháng 7 sẽ là một trong những tháng có hiệu suất tốt nhất, dù mới bắt đầu với sắc đỏ. Dự báo mới nhất cho thấy BTC đang đi theo xu hướng của thị trường chứng khoán Mỹ để tiếp tục tăng trong tháng tới. Giá... ...

Dự đoán giá Bitcoin đạt 200.000 đô la vào cuối năm 2025 đang ngày càng trở nên phổ biến. Việc giá trị đồng tiền này liên tục tăng trưởng không chỉ phản ánh sự lạc quan trong cộng đồng đầu tư mà còn cho thấy nguy cơ điều chỉnh thị... ...

Vụ kiện giữa Ripple Labs và Ủy ban Chứng khoán và Giao dịch Hoa Kỳ (SEC) đã kéo dài suốt một thập kỷ, và mặc dù vụ kiện này gần đây đã chứng kiến một bước ngoặt quan trọng khi Ripple quyết định không kháng cáo, quá trình kết thúc... ...

Sau khi ghi nhận mức tăng 17% trong khoảng thời gian bảy ngày, PEPE – meme coin lớn thứ ba trên thị trường – hiện đang thu hút sự chú ý mạnh mẽ từ các nhà đầu tư. Trong ngày 30 tháng 6, PEPE đã tiếp tục tăng thêm 7%,... ...

Bitcoin Cash (BCH) dẫn đầu đà tăng của thị trường crypto hôm nay. Altcoin này đã tăng vọt 5,6% trong 24 giờ qua, đạt mức cao nhất trong 8 tháng là 526,7 đô la tính đến thời điểm viết bài. Với các chỉ báo kỹ thuật đang phát ra tín... ...

Tại sự kiện Pi2Day 2025, Pi Network đã chính thức công bố hai bản cập nhật chiến lược: Pi App Studio và Ecosystem Directory Staking. Nếu như Pi App Studio nhận được sự đón nhận tích cực khi tạo điều kiện cho các nhà phát triển xây dựng và triển... ...

Tổng vốn hóa thị trường crypto (TOTAL) đã giảm 32 tỷ đô la, trong khi Bitcoin không thể giữ vững ngưỡng hỗ trợ 108.000 đô la. Về altcoin, SPX6900 (SPX) trở thành altcoin giảm mạnh nhất trong ngày hôm nay, với mức giảm hơn 11,8%. Các tin tức đáng chú... ...

TRON (TRX) vẫn đang giao dịch trong phạm vi hẹp, với Bollinger Bands thu hẹp về các mức thiết lập vào đầu tháng 6 — cho thấy đợt biến động mạnh có thể đang đến gần. Gần đây, TRX đã bật lên từ dải dưới gần mức 0,26 đô la... ...

Xem thêm bài viết
Chọn chế độ hiển thị:
Bình thường Bảo vệ mắt Dark Mode