Google công bố kỹ thuật huấn luyện AI tối ưu hóa, tăng tốc độ và hiệu quả

Updated: 06/07/2024 at 18:00

Các nhà nghiên cứu tại DeepMind của Google đã tiết lộ một phương pháp mới để tăng tốc độ huấn luyện AI, giúp giảm đáng kể tài nguyên tính toán và thời gian cần thiết. Phương pháp mới này đối với quy trình tiêu tốn năng lượng có thể làm cho việc phát triển AI nhanh hơn và rẻ hơn, theo một bài báo nghiên cứu gần đây – và điều này có thể là tin tốt cho môi trường.

“Phương pháp của chúng tôi – học tương phản đa phương thức với lựa chọn ví dụ chung (JEST) – vượt qua các mô hình hiện đại nhất với số lượng lần lặp ít hơn lên đến 13 lần và lượng tính toán ít hơn 10 lần,” nghiên cứu cho biết.

Ngành công nghiệp AI được biết đến với mức tiêu thụ năng lượng cao. Các hệ thống AI quy mô lớn như ChatGPT yêu cầu sức mạnh xử lý lớn, điều này đòi hỏi nhiều năng lượng và nước để làm mát các hệ thống này. Ví dụ, lượng nước tiêu thụ của Microsoft đã tăng 34% từ năm 2021 đến 2022 do nhu cầu tính toán AI tăng lên, với ChatGPT bị cáo buộc tiêu thụ gần nửa lít nước cho mỗi 5 đến 50 lần truy vấn.

Cơ quan Năng lượng Quốc tế (IEA) dự đoán rằng tiêu thụ điện của trung tâm dữ liệu sẽ tăng gấp đôi từ năm 2022 đến 2026 – so sánh nhu cầu năng lượng của AI với hồ sơ năng lượng thường bị chỉ trích của ngành khai thác tiền điện tử.

Tuy nhiên, các phương pháp như JEST có thể cung cấp một giải pháp. Bằng cách tối ưu hóa việc chọn dữ liệu cho việc huấn luyện AI, Google cho biết, JEST có thể giảm đáng kể số lượng lần lặp và sức mạnh tính toán cần thiết, điều này có thể giảm tổng mức tiêu thụ năng lượng. Phương pháp này phù hợp với những nỗ lực cải thiện hiệu quả của các công nghệ AI và giảm tác động môi trường của chúng.

Nếu kỹ thuật này chứng minh hiệu quả ở quy mô lớn, những người huấn luyện AI sẽ chỉ cần một phần nhỏ sức mạnh để huấn luyện các mô hình của họ. Điều này có nghĩa là họ có thể tạo ra các công cụ AI mạnh mẽ hơn với cùng tài nguyên hiện có, hoặc tiêu tốn ít tài nguyên hơn để phát triển các mô hình mới.

Cách thức hoạt động của JEST

JEST hoạt động bằng cách chọn các lô dữ liệu bổ sung để tối đa hóa khả năng học của mô hình AI. Không giống như các phương pháp truyền thống chọn từng ví dụ riêng lẻ, thuật toán này xem xét thành phần của toàn bộ tập hợp.

Ví dụ, hãy tưởng tượng bạn đang học nhiều ngôn ngữ. Thay vì học tiếng Hoa, tiếng Hàn và tiếng Nhật riêng rẽ, có lẽ theo thứ tự độ khó, bạn có thể thấy hiệu quả hơn nếu học chúng cùng nhau theo cách mà kiến thức của một ngôn ngữ hỗ trợ việc học ngôn ngữ khác. Vì bạn biết rằng tiếng Hàn và tiếng Nhật có mối quan hệ chặt chẽ với tiếng Hoa, đặc biệt là Nhật Bản vẫn sử dụng rất nhiều Hán tự. Qua đó học cùng lúc 3 thứ tiếng sẽ bổ trợ cho nhau.

Google đã áp dụng cách tiếp cận tương tự và đã thành công.

“Chúng tôi chứng minh rằng việc chọn các lô dữ liệu chung hiệu quả hơn cho việc học so với chọn các ví dụ độc lập,” các nhà nghiên cứu tuyên bố trong bài báo.

Để làm như vậy, các nhà nghiên cứu của Google đã sử dụng “học tương phản đa phương thức,” nơi quá trình JEST xác định các phụ thuộc giữa các điểm dữ liệu. Phương pháp này cải thiện tốc độ và hiệu quả của việc huấn luyện AI trong khi yêu cầu ít sức mạnh tính toán hơn nhiều.

Yếu tố quan trọng của phương pháp này là bắt đầu với các mô hình tham chiếu đã được huấn luyện trước để hướng dẫn quá trình chọn dữ liệu, Google lưu ý. Kỹ thuật này cho phép mô hình tập trung vào các tập dữ liệu chất lượng cao, được quản lý tốt, tối ưu hóa thêm hiệu quả huấn luyện.

“Chất lượng của một lô dữ liệu cũng là một chức năng của thành phần của nó, ngoài chất lượng tổng hợp của các điểm dữ liệu được xem xét độc lập,” bài báo giải thích.

Các thí nghiệm của nghiên cứu đã cho thấy sự cải thiện hiệu suất rõ rệt trên nhiều tiêu chuẩn. Ví dụ, huấn luyện trên tập dữ liệu WebLI thông thường bằng JEST đã cho thấy sự cải thiện đáng kể về tốc độ học và hiệu quả sử dụng tài nguyên.

Các nhà nghiên cứu cũng nhận thấy rằng thuật toán này nhanh chóng phát hiện các lô con có khả năng học cao, tăng tốc quá trình huấn luyện bằng cách tập trung vào các mẩu dữ liệu cụ thể “phù hợp” với nhau. Kỹ thuật này, được gọi là “khởi động chất lượng dữ liệu,” coi trọng chất lượng hơn số lượng và đã chứng minh hiệu quả tốt hơn cho việc huấn luyện AI.

“Một mô hình tham chiếu được huấn luyện trên một tập dữ liệu nhỏ được quản lý tốt có thể hướng dẫn hiệu quả việc quản lý một tập dữ liệu lớn hơn nhiều, cho phép huấn luyện một mô hình vượt trội hơn hẳn về chất lượng so với mô hình tham chiếu trên nhiều nhiệm vụ khác,” bài báo cho biết.

Tham gia Telegram của Tạp Chí Bitcoin: https://t.me/tapchibitcoinvn

Theo dõi Twitter: https://twitter.com/tapchibtc_io

Theo dõi Tiktok: https://www.tiktok.com/@tapchibitcoin 

Thạch Sanh

Theo Decrypt

Được đề cập trong bài viết
Bình luận
Mới cập nhật

Chỉ trong bảy ngày qua, vốn hóa của thị trường stablecoin đã vượt ngưỡng 260 tỷ USD và vẫn không ngừng tăng trưởng. Riêng tuần vừa rồi, lĩnh vực này đã ghi nhận thêm gần 5 tỷ USD, trong đó gần 2 tỷ USD đến từ lượng Tether (USDT) mới... ...

Bitcoin (BTC) đã có cú hồi phục ấn tượng vào cuối ngày thứ Sáu sau khi quét qua vùng đáy của phạm vi giao dịch. Hiện tại, đồng coin này đang nỗ lực duy trì đà tăng trong những ngày cuối tuần — một tín hiệu rõ ràng cho thấy... ...

Đợt tăng giá âm thầm của Bitcoin thời gian qua đang thu hút sự chú ý từ Phố Wall và giới đầu tư toàn cầu. Tuy nhiên, một số tiếng nói kỳ cựu trong cộng đồng như American HODL cảnh báo rằng những gì chúng ta đang chứng kiến chỉ... ...

Guy Young, nhà sáng lập Ethena Labs, vừa lên tiếng bảo vệ mô hình kho bạc crypto (crypto treasuries) như một giải pháp tiềm năng nhất nhằm chấm dứt tình trạng các quỹ đầu tư mạo hiểm (VC) xả token sau khi mở khóa – vấn đề vốn đã trở thành... ...

Mới đây, Solana Foundation đã công bố một lộ trình đầy tham vọng đến năm 2027, với tầm nhìn trở thành hạ tầng cốt lõi cho thị trường vốn Internet (ICM). ICM, thuật ngữ do cựu thành viên cốt lõi của Solana là Akshay BD đề xuất, có thể được... ...

Khi thị trường crypto bước vào tháng cuối cùng của quý 3, Pi Coin một lần nữa thu hút sự chú ý sau nhiều tháng biến động mạnh. Từng được ca ngợi là đồng tiền điện tử thân thiện với thiết bị di động và có tiềm năng ứng dụng rộng... ...

Thị trường crypto vừa trải qua một đợt rung lắc mạnh và đột ngột, với làn sóng thanh lý lớn diễn ra trong 24 giờ qua. Ethereum (ETH) dẫn đầu mức thiệt hại, tiếp theo là Bitcoin và một loạt altcoin khác, khi hợp đồng mở (OI) tăng vọt cùng... ...

Vào ngày 25/7, Bitcoin Cash (BCH) đã lọt vào danh sách những coin tăng giá mạnh nhất trên CoinMarketCap, đứng ở vị trí thứ 3 với mức tăng 8%. Token này hiện giao dịch quanh 557,65 đô la và thu hút sự chú ý đặc biệt khi trùng khớp với... ...

Bitcoin (BTC) vừa hứng chịu một “cú sốc” lớn – hơn 40.000 BTC đã được chuyển lên sàn giao dịch trong tuần này. Dù vậy, giá BTC vẫn duy trì trên mốc 110.000 USD, chỉ giảm nhẹ so với đỉnh gần nhất quanh mức 123.471 USD. Vậy, điều gì đang... ...

Ngân hàng khổng lồ Phố Wall – Citi – vừa công bố báo cáo dự báo mới, nâng kỳ vọng tăng giá cho Bitcoin (BTC) vào cuối năm 2025. Theo đó, mục tiêu cơ bản được đặt ở 135.000 USD, trong khi kịch bản lạc quan hơn có thể đưa đồng... ...

Xem thêm bài viết

Chọn chế độ hiển thị:
Bình thường Bảo vệ mắt Dark Mode