Trang chủ Trí tuệ nhân tạo (AI) Google công bố kỹ thuật huấn luyện AI tối ưu hóa, tăng...

Google công bố kỹ thuật huấn luyện AI tối ưu hóa, tăng tốc độ và hiệu quả

Các nhà nghiên cứu tại DeepMind của Google đã tiết lộ một phương pháp mới để tăng tốc độ huấn luyện AI, giúp giảm đáng kể tài nguyên tính toán và thời gian cần thiết. Phương pháp mới này đối với quy trình tiêu tốn năng lượng có thể làm cho việc phát triển AI nhanh hơn và rẻ hơn, theo một bài báo nghiên cứu gần đây – và điều này có thể là tin tốt cho môi trường.

“Phương pháp của chúng tôi – học tương phản đa phương thức với lựa chọn ví dụ chung (JEST) – vượt qua các mô hình hiện đại nhất với số lượng lần lặp ít hơn lên đến 13 lần và lượng tính toán ít hơn 10 lần,” nghiên cứu cho biết.

Ngành công nghiệp AI được biết đến với mức tiêu thụ năng lượng cao. Các hệ thống AI quy mô lớn như ChatGPT yêu cầu sức mạnh xử lý lớn, điều này đòi hỏi nhiều năng lượng và nước để làm mát các hệ thống này. Ví dụ, lượng nước tiêu thụ của Microsoft đã tăng 34% từ năm 2021 đến 2022 do nhu cầu tính toán AI tăng lên, với ChatGPT bị cáo buộc tiêu thụ gần nửa lít nước cho mỗi 5 đến 50 lần truy vấn.

Cơ quan Năng lượng Quốc tế (IEA) dự đoán rằng tiêu thụ điện của trung tâm dữ liệu sẽ tăng gấp đôi từ năm 2022 đến 2026 – so sánh nhu cầu năng lượng của AI với hồ sơ năng lượng thường bị chỉ trích của ngành khai thác tiền điện tử.

Tuy nhiên, các phương pháp như JEST có thể cung cấp một giải pháp. Bằng cách tối ưu hóa việc chọn dữ liệu cho việc huấn luyện AI, Google cho biết, JEST có thể giảm đáng kể số lượng lần lặp và sức mạnh tính toán cần thiết, điều này có thể giảm tổng mức tiêu thụ năng lượng. Phương pháp này phù hợp với những nỗ lực cải thiện hiệu quả của các công nghệ AI và giảm tác động môi trường của chúng.

Nếu kỹ thuật này chứng minh hiệu quả ở quy mô lớn, những người huấn luyện AI sẽ chỉ cần một phần nhỏ sức mạnh để huấn luyện các mô hình của họ. Điều này có nghĩa là họ có thể tạo ra các công cụ AI mạnh mẽ hơn với cùng tài nguyên hiện có, hoặc tiêu tốn ít tài nguyên hơn để phát triển các mô hình mới.

Cách thức hoạt động của JEST

JEST hoạt động bằng cách chọn các lô dữ liệu bổ sung để tối đa hóa khả năng học của mô hình AI. Không giống như các phương pháp truyền thống chọn từng ví dụ riêng lẻ, thuật toán này xem xét thành phần của toàn bộ tập hợp.

Ví dụ, hãy tưởng tượng bạn đang học nhiều ngôn ngữ. Thay vì học tiếng Hoa, tiếng Hàn và tiếng Nhật riêng rẽ, có lẽ theo thứ tự độ khó, bạn có thể thấy hiệu quả hơn nếu học chúng cùng nhau theo cách mà kiến thức của một ngôn ngữ hỗ trợ việc học ngôn ngữ khác. Vì bạn biết rằng tiếng Hàn và tiếng Nhật có mối quan hệ chặt chẽ với tiếng Hoa, đặc biệt là Nhật Bản vẫn sử dụng rất nhiều Hán tự. Qua đó học cùng lúc 3 thứ tiếng sẽ bổ trợ cho nhau.

Google đã áp dụng cách tiếp cận tương tự và đã thành công.

“Chúng tôi chứng minh rằng việc chọn các lô dữ liệu chung hiệu quả hơn cho việc học so với chọn các ví dụ độc lập,” các nhà nghiên cứu tuyên bố trong bài báo.

Để làm như vậy, các nhà nghiên cứu của Google đã sử dụng “học tương phản đa phương thức,” nơi quá trình JEST xác định các phụ thuộc giữa các điểm dữ liệu. Phương pháp này cải thiện tốc độ và hiệu quả của việc huấn luyện AI trong khi yêu cầu ít sức mạnh tính toán hơn nhiều.

Yếu tố quan trọng của phương pháp này là bắt đầu với các mô hình tham chiếu đã được huấn luyện trước để hướng dẫn quá trình chọn dữ liệu, Google lưu ý. Kỹ thuật này cho phép mô hình tập trung vào các tập dữ liệu chất lượng cao, được quản lý tốt, tối ưu hóa thêm hiệu quả huấn luyện.

“Chất lượng của một lô dữ liệu cũng là một chức năng của thành phần của nó, ngoài chất lượng tổng hợp của các điểm dữ liệu được xem xét độc lập,” bài báo giải thích.

Các thí nghiệm của nghiên cứu đã cho thấy sự cải thiện hiệu suất rõ rệt trên nhiều tiêu chuẩn. Ví dụ, huấn luyện trên tập dữ liệu WebLI thông thường bằng JEST đã cho thấy sự cải thiện đáng kể về tốc độ học và hiệu quả sử dụng tài nguyên.

Các nhà nghiên cứu cũng nhận thấy rằng thuật toán này nhanh chóng phát hiện các lô con có khả năng học cao, tăng tốc quá trình huấn luyện bằng cách tập trung vào các mẩu dữ liệu cụ thể “phù hợp” với nhau. Kỹ thuật này, được gọi là “khởi động chất lượng dữ liệu,” coi trọng chất lượng hơn số lượng và đã chứng minh hiệu quả tốt hơn cho việc huấn luyện AI.

“Một mô hình tham chiếu được huấn luyện trên một tập dữ liệu nhỏ được quản lý tốt có thể hướng dẫn hiệu quả việc quản lý một tập dữ liệu lớn hơn nhiều, cho phép huấn luyện một mô hình vượt trội hơn hẳn về chất lượng so với mô hình tham chiếu trên nhiều nhiệm vụ khác,” bài báo cho biết.

Tham gia Telegram của Tạp Chí Bitcoin: https://t.me/tapchibitcoinvn

Theo dõi Twitter: https://twitter.com/tapchibtc_io

Theo dõi Tiktok: https://www.tiktok.com/@tapchibitcoin 

Thạch Sanh

Theo Decrypt

MỚI CẬP NHẬT

Tether Gold (XAUt) là gì? Tài sản kỹ thuật số được hỗ trợ bởi...

Trong thời đại mà các nhà đầu tư tìm kiếm các phương tiện đáng tin cậy và dễ tiếp cận để đa dạng hóa...
Mina Protocol (MINA) là gì?

Mina Protocol (MINA) là gì? Blockchain nhẹ nhất thế giới

Mina Protocol là gì? Mina là giao thức tiền điện tử đầu tiên với blockchain ngắn gọn. Các loại tiền điện tử hiện nay như...
Hamster Kombat

Người dùng Hamster Kombat là mục tiêu của các cuộc tấn công phishing và...

Người chơi Hamster Kombat là mục tiêu của những kẻ lừa đảo và tác nhân ác ý đang cố gắng kiếm lợi từ sự...

Grayscale giảm phí Ethereum Mini Trust xuống 0,15%, mức thấp nhất trên thị trường

Grayscale, một trong những đơn vị phát hành quỹ Ethereum ETF sắp ra mắt, đã hạ phí quản lý cho Mini Trust của mình...

[QC] Chương trình presale Pepe Unchained chuẩn bị vượt mốc 4 triệu đô la,...

 Pepe Unchained – một meme coin tiềm năng mới Layer-2 đầy hứa hẹn, đang thu hút được lượng lớn các nhà đầu tư tham...
ETH ETF

CEO Binance: Ethereum ETF giao ngay “không gây sốc” nhưng sẽ nhận dòng vốn...

Khi thời điểm ra mắt các quỹ ETH ETF đang tới gần, Richard Teng - CEO của sàn giao dịch tiền điện tử Binance...

[QC] Thợ đào Bitcoin lao đao tìm kiếm hợp đồng với các công ty...

Giữa lúc doanh thu đang giảm sút, các "thợ đào" Bitcoin đang ráo riết tìm kiếm những thỏa thuận hợp tác với các nhà...

Rho Markets đã mất hơn 7,5 triệu đô la do lỗ hổng bảo mật...

Thị trường tiền tệ dựa trên Scroll Rho Markets đã mất hơn 7,5 triệu đô la sau khi gặp sự cố do một lỗ...

[QC] Giao dịch tiền điện tử tiện lợi với giải pháp thanh toán SpacePay

Nếu như bạn là một người yêu thích tiền điện tử, chắc hẳn bạn sẽ muốn sử dụng Bitcoin, Ethereum hay bất kỳ...
trader solana

Các trader SOL nhận thấy cờ hiệu tăng giá “khổng lồ” khi giá tăng...

Các trader đã chỉ ra một mô hình tăng giá đang hình thành trên biểu đồ giá của Solana, khiến một số người dự...

“Bull run thực sự” của Bitcoin ngoài tầm với khi nhu cầu bán lẻ...

Một số liệu nhằm thể hiện sự quan tâm của các nhà bán lẻ đối với Bitcoin vừa chạm mức thấp nhất trong ba...

Tin vắn Crypto 19/07: Bitcoin đang sẵn sàng cho đà tăng trưởng bùng nổ...

Từ nhận định Bitcoin sẵn sàng cho “đà tăng trưởng tiếp theo” đến Astar công bố các nâng cấp quan trọng về giao thức...
CEO Messari ung ho Trump

CEO Messari ủng hộ Trump một cách cực đoan, gọi Vitalik Buterin là kẻ...

Ryan Selkis - CEO của Messari - gần đây đã có một bài phát biểu ủng hộ Donald Trump. Sau khi Trump bị ám...

Ripple đã quyết định không tiến hành IPO vào lúc này: Brad Garlinghouse

Trong cuộc phỏng vấn với Andrew Nusca của tạp chí Fortune, CEO Ripple Brad Garlinghouse đã cung cấp cái nhìn tổng quan về lộ trình...

Khủng hoảng IT toàn cầu ảnh hưởng đến ngành hàng không, đường sắt, ngân...

Một sự cố kỹ thuật lan rộng với phần mềm tập trung của công ty công nghệ an ninh mạng của Mỹ CrowdStrike đã dẫn...

[QC] Shiba Inu giảm tới 10,43%, sự chú ý đổ dồn sang tân binh...

Các token theo chủ đề meme Shiba Inu đều có biến động mạnh trong 24 giờ qua – đặc biệt là Shiba Inu...