Để dễ hình dung tại sao trí tuệ nhân tạo (AI) cần nhiều năng lượng đến thế, hãy hình dung bộ vi xử lý truyền thống (CPU) là một “nhánh” của thư viện địa phương, còn thuật toán AI là một nhà nghiên cứu chuyên tới đây mượn sách.

Theo đó, mỗi lần “nhà nghiên cứu” (tức là thuật toán AI) này cần dữ liệu nào đó, “anh ta” lại tìm đến thư viện (là một chip nhớ), nghiên cứu các dữ liệu tại đây, và mang nó đến một con chip khác (chính là CPU) để thực hiện được một tác vụ nào đó (mà người dùng đang cần).

Vấn đề là các thuật toán AI cần rất, rất nhiều dữ liệu. Đồng nghĩa hàng tỉ, tỉ cuốn sách được mang đi mang lại giữa chip nhớ và chip CPU, và quy trình này tiêu tốn rất nhiều điện năng. Trong ít nhất một thập niên qua, giới nghiên cứu đã đau đầu tìm cách tiết kiệm năng lượng hơn, bằng cách tạo ra những loại chip có thể xử lý dữ liệu ngay tại nơi cất trữ dữ liệu. “Thay vì phải mang sách từ thư viện về nhà rồi mới đọc, bạn chỉ việc đến thẳng thư viện và ngồi đó làm việc,” giảng viên Philip Wong của đại học Stanford, một chuyên gia đầu ngành trong lĩnh vực chip nhớ, kiêm cố vấn cho TSMC, cho biết.

Quy trình này được gọi bằng cái tên “điện toán trên bộ nhớ,” tức giảm thiểu được quá trình “di chuyển” qua lại giữa CPU và chip nhớ bằng cách để thuật toán AI xử lý khối lượng dữ liệu khổng lồ ngay trên chip nhớ. Tuy nhiên, đây là quy trình gặp rất nhiều thách thức về mặt công nghệ, và chỉ mới qua được giai đoạn nghiên cứu bước đầu.

Trong bối cảnh công nghệ AI đang tiêu tốn quá nhiều năng lượng, người ta đang đặt ra những câu hỏi nghiêm túc về tính khả thi về kinh tế lẫn bền vững về môi trường. Đồng nghĩa bất cứ công nghệ nào giúp AI tiết kiệm điện hơn đều có cơ may “thắng lớn.” Điều này giúp “điện toán trên bộ nhớ” trở thành chủ đề thu hút nhiều sự quan tâm và chú ý, thậm chí trở thành tâm điểm trong những chuyển dịch địa kinh tế ồn ào trong ngành bán dẫn.

Những hãng chip lớn như TSMC, Intel và Samsung đều đang nghiên cứu công nghệ điện toán trên bộ nhớ. Intel đã làm ra vài con chip để thử nghiệm, theo Ram Krishnamurthy, kỹ sư trưởng cấp cao tại Intel Labs (trung tâm nghiên cứu của tập đoàn). Tuy nhiên ông từ chối tiết lộ thêm về vị trí của dòng vi xử lý trong danh mục sản phẩm tiếp theo của Intel. Bên cạnh đó, từ Sam Altman (CEO của OpenAI) cho đến Microsoft và những doanh nghiệp quốc doanh tại Trung Quốc, Saudi Arabia và nhiều nơi khác đều đã và đang đầu tư cho công nghệ này.

Tháng 11.2023, một ban thuộc chính phủ Mỹ, vốn chuyên xem xét các khoản đầu tư nước ngoài để đảm bảo giữ vững an ninh quốc gia, đã buộc một quỹ đầu tư mạo hiểm của hãng dầu khí Aramco (của Saudi Arabia) phải thoái vốn khỏi Rain AI, một startup chuyên về công nghệ điện toán trong bộ nhớ có trụ sở tại San Francisco.

Riêng Trung Quốc đang rất quan tâm đến công nghệ này. Nhiều công ty khởi nghiệp (startup) Trung Quốc như PIM Chip, Houmo.AI và WITmem đang gọi vốn từ nhiều nhà đầu tư tiềm năng (theo công ty cung cấp dữ liệu đầu tư PitchBook). Naveen Verma, giảng viên tại đại học Princeton đồng thời là đồng sáng lập EnCharge AI - startup cũng chuyên về điện toán trong bộ nhớ, cho biết ông thường xuyên được mời đến nói chuyện về chủ đề này tại các công ty và trường đại học Trung Quốc. “Họ đang nỗ lực tìm cách xây dựng các hệ thống trong bộ nhớ nói riêng và các hệ thống điện toán cao cấp nói chung,” ông nói. Verma cho biết ông chưa đến Trung Quốc nhiều năm qua, và chỉ bàn về nghiên cứu học thuật của ông tại châu Á, không phải về công nghệ của EnCharge.

Còn quá sớm để khẳng định công nghệ chip trong bộ nhớ sẽ là một phần tối quan trọng trong tương lai của AI. Xưa nay, chip điện toán trong bộ nhớ luôn nhạy cảm với các yếu tố môi trường, chẳng hạn như thay đổi về nhiệt độ, vốn sẽ gây lỗi trong tính toán. Giới startup đang nỗ lực thử nghiệm nhiều cách để cải thiện vấn đề này, nhưng chưa có nhiều kết quả. Việc đổi sang dòng chip mới rất tốn kém, và khách hàng thường do dự làm thế trừ khi họ thật sự tin vào những cải thiện lớn, nên giới startup sẽ phải thuyết phục khách hàng rằng lợi ích lớn hơn rủi ro.

Hiện giới startup điện toán trong bộ nhớ không tham gia giải bài toán khó nhất của AI: Huấn luyện những mô hình mới. Quy trình này đang chủ yếu được những doanh nghiệp thiết kế chip hàng đầu như Nvidia lo liệu. Công ty này đã và đang tìm cách cải thiện hiệu suất năng lượng theo cách riêng, chẳng hạn thu nhỏ kích thước các transistor (bóng bán dẫn) và cải thiện cách các con chip giao tiếp với nhau.

Thay vì trực tiếp đối mặt với Nvidia, giới startup trong lĩnh vực điện toán trong bộ nhớ đang chuyển từ “huấn luyện” sang “suy luận” (inference) - là việc dùng các mô hình AI có sẵn để nhận câu lệnh (prompt) và cho ra nội dung. “Suy luận” không phức tạp bằng quy trình “huấn luyện,” nhưng có độ phủ rộng hơn, nên đây sẽ là thị trường tốt cho những dòng chip được thiết kế có hiệu suất năng lượng tốt hơn.

Vì thế, những dòng chip xử lý đồ họa chủ lực của Nvidia, vốn tiêu tốn nhiều điện năng khiến chúng không phải lựa chọn lý tưởng cho mô hình “suy luận", Sid Sheth, sáng lập kiêm CEO của d-Matrix, một startup chip có trụ sở tại thung lũng Silicon đã gọi được 160 triệu đô la Mỹ vốn từ Microsoft và quỹ đầu tư Temasek của chính phủ Singapore, cho biết. Anh chia sẻ trước khi cơn sốt AI bùng nổ, việc thuyết trình cho nhà đầu tư thường gặp nhiều khó khăn. “Còn trong nửa đầu năm 2023, ai cũng hiểu, nhờ vào ChatGPT,” anh nói. Công ty anh dự định bán những con chip đầu tiên trong năm nay, và sẽ đi vào sản xuất hàng loạt vào năm 2025.

“Công nghệ AI đang rất, rất cần tiết kiệm điện năng,” khoa học gia trưởng Victor Zhirnov tại hãng nghiên cứu bán dẫn Semiconductor Research bình luận. “Nếu không, tự nó sẽ khai tử chính nó.”