- Naveen Rao's Unconventional AI đang giải quyết cuộc khủng hoảng năng lượng sắp tới của AI bằng cách định nghĩa lại điện toán từ lớp vật lý cơ bản, hướng tới hiệu quả năng lượng cao hơn đáng kể.
- Công ty này từ bỏ các mô hình điện toán truyền thống như kiến trúc von Neumann và phép toán ma trận, thay vào đó lấy cảm hứng từ hiệu quả năng lượng vượt trội của não bộ sinh học.
- Họ phát triển các chip dựa trên "động lực phi tuyến" và "hệ thống động lực học", nơi vật lý tự thực hiện tính toán theo thời gian, hứa hẹn cải thiện hiệu quả năng lượng lên nhiều bậc độ lớn.
Why the Brain Computes 1,000,000x More Efficiently Than A GPU: Unconventional AI's Naveen Rao
- Tái đánh giá nguyên tắc điện toán cơ bản: Các mô hình điện toán kỹ thuật số và kiến trúc
von Neumannhiện tại (đã 80 năm tuổi) đang chạm đến giới hạn năng lượng choAI, đòi hỏi phải quay lại các nguyên tắc vật lý cơ bản để xây dựng các mô hình điện toán mới. - Giải quyết khủng hoảng năng lượng của AI: Mức tiêu thụ năng lượng khổng lồ của
AIhiện tại (gigawatt cho huấn luyện và suy luận) là không bền vững và dự kiến sẽ vượt quá khả năng cung cấp năng lượng toàn cầu trong 2-4 năm tới nếu không có những đột phá về hiệu quả. - Khai thác cảm hứng từ sinh học: Não bộ sinh học cung cấp một "minh chứng tồn tại" cho trí tuệ siêu hiệu quả, sử dụng
động lực phi tuyếnvà các tương tác năng động thay vì cácphép toán ma trậntốn nhiều năng lượng và truy cập bộ nhớ tường minh. - Chuyển đổi sang kiến trúc phi-von Neumann: Phát triển các chip mới nơi
trạng tháivàhàmđược tích hợp vào chính hệ thống vật lý, cho phéptính toándiễn ra một cách ngầm định thông quađộng lực phi tuyếntheo thời gian, giảm đáng kể chi phí năng lượng. - Sử dụng trục thời gian của vật lý cho tính toán: Thay vì các hoạt động từng bước, tuần tự tiêu tốn năng lượng trong các hệ thống kỹ thuật số truyền thống, phương pháp mới tận dụng trục thời gian vật lý để tự thực hiện quá trình
tính toán. - Tập trung vào hiệu quả năng lượng ở lớp vật lý: Ưu tiên cải thiện
hiệu quả tài nguyên tính toánở cấp độ phần cứng cơ bản nhất, hướng tới mục tiêu tăng hiệu quả lên gấp ba bậc độ lớn so với những gì tối ưu hóa thuật toán hoặc dữ liệu có thể đạt được. - Hệ thống động lực học có thể huấn luyện cho AI: Xây dựng các
hệ thống động lực học(lấy cảm hứng từđồng bộ hóa Kuramoto) có thể được huấn luyện để điều khiểnquỹ đạotrongkhông gian trạng tháicủa chúng nhằm thực hiện các tác vụAI, ví dụ như tạo ảnh.
mô hình tiên phong— pioneering model / pioneertài nguyên tính toán— computational resourceshiệu quả năng lượng— energy efficiencymô hình điện toán— computational modelkiến trúc von Neumann— von Neumann architecturephi-von Neumann— non-von Neumannđộng lực phi tuyến— non-linear dynamicshệ thống động lực học— dynamical systemphép toán ma trận— matrix operationskhông gian trạng thái— state space
Giới thiệu Naveen Rao và Unconventional AI
Chúng ta sẽ chuyển sang chuỗi các bài nói về mô hình tiên phong tiếp theo. Người đầu tiên là Naveen Rao. Naveen là một người tiên phong trong lĩnh vực AI. Ông hoàn thành bằng tiến sĩ về khoa học thần kinh, sau đó thành lập một trong những công ty chip AI đầu tiên, rất lâu trước khi nó trở nên phổ biến. Ông cũng là người điều hành Mosaic ML, một trong những công ty huấn luyện AI đầu tiên, và sau đó xây dựng toàn bộ hệ thống AI của Data Bricks. Ông đã từ bỏ vai trò tuyệt vời đó để làm điều gì đó mới mẻ, định nghĩa lại tương lai của điện toán và mang sự thú vị trở lại với khoa học thần kinh. Xin mời Naveen.
[Tiếng vỗ tay]
Chào buổi chiều mọi người. Vâng, tôi rất vui khi được ở đây. Tôi là Naveen Rao, Giám đốc điều hành của Unconventional AI. Chúng tôi tự gọi mình là "Unconventional" (Phi truyền thống) bởi vì có lẽ đó là từ sai để dùng, tôi nghĩ chúng tôi sẽ đổi tên thành "Conventional" (Truyền thống). Đây thực sự là thời điểm tuyệt vời để trở thành một công ty khởi nghiệp, như Boris đã đề cập, phải không? Việc không có gánh nặng thực sự là một lợi thế cạnh tranh. Chúng tôi có thể làm mọi thứ nhanh hơn nhiều so với các công ty chip truyền thống và các công ty ngăn xếp phần mềm có thể làm. Và tôi nghĩ đó là điều rất thú vị. Chúng tôi có thể ra mắt chip mẫu trong vài tháng thay vì nhiều năm, những điều tương tự. Dù sao thì, hãy bắt đầu. Tôi đưa ra điều này ở đây. Tôi có thể đảm bảo với bạn rằng một số bạn đang cố gắng chứng minh tôi sai. Đột nhiên bạn nghĩ, ôi trời ơi, tôi có thể nghe thấy bánh răng đang quay, điều đó không thể đúng. Vâng, hãy để tôi giải thích một chút về logic của mình và định nghĩa về điều tôi gọi là ASI.
Hiệu quả Tài nguyên tính toán ở cấp độ vật lý
Vì vậy, tôi thực sự nghĩ rằng chúng ta cần đạt được hiệu quả tài nguyên tính toán cao hơn nhiều. Và khi tôi nói hiệu quả tài nguyên tính toán, tôi không có ý nói đến hiệu quả tài nguyên tính toán theo thuật toán hay hiệu quả dữ liệu. Có rất nhiều người đang nghiên cứu những vấn đề này. Tôi thực sự muốn nói đến lớp nền tảng cơ bản. Thực tế là cách chúng ta xử lý thông tin ở cấp độ vật lý. Chúng ta đã chọn một con đường để máy tính hoạt động theo cách chúng đã làm vì nhiều lý do, khoảng 80 năm trước. Nếu bạn nghĩ về điều đó, trong ngành công nghệ, có bao nhiêu thứ đã tồn tại trong 80 năm? Không nhiều. Các khái niệm trừu tượng kỹ thuật số như số dấu phẩy động, chúng đã có từ những năm 1940. Và cho một cỗ máy được xây dựng từ một lớp nền tảng hoàn toàn khác và cho một cỗ máy được xây dựng với mục đích hoàn toàn khác. Và bây giờ chúng ta đang xây dựng những cỗ máy dành cho trí tuệ. Vì vậy, hãy suy nghĩ kỹ hơn một chút về điều này.
Khủng hoảng năng lượng của AI
Vì vậy, một phần của vấn đề này là AI sẽ giúp chúng ta hiệu quả hơn. Ý tôi là, chúng ta đã nói về việc lập trình và, bạn biết đấy, chạy hàng nghìn tác nhân (AI) trên điện thoại của bạn, tất cả những thứ đó, phải không? Nó thực sự giúp chúng ta hiệu quả hơn. Nhưng đến một lúc nào đó, chúng ta bắt đầu đạt đến một điểm mà hiệu quả thực sự có nghĩa là gì? Nếu bạn nghĩ về năng lượng, năng lượng thực tế, có lẽ chúng ta thực sự không hiệu quả hơn. Và chúng ta đang đối mặt với những giới hạn của thế giới vật lý ngay bây giờ. Bạn biết đấy, hiện nay chúng ta đã sử dụng nhiều gigawatt cho suy luận và huấn luyện AI. Và chúng ta sẽ đạt đến một điểm trong vài năm tới – đây không phải là 10 năm nữa, mà là hai, ba, bốn năm – khi chúng ta không còn đủ năng lượng trên thế giới cho AI nữa. Khi đó, chủ đề này bắt đầu trở nên rất, rất quan trọng. Hiện tại, bạn có thể nhìn nhận nó như năng lượng điện so với thức ăn. Đây là hai nguồn năng lượng cho trí tuệ. Và bạn biết đấy, không có giới hạn thực sự nào về phía điện, nhưng điều đó sẽ sớm gặp phải một bức tường vững chắc. Và bạn biết đấy, chúng ta đang nói về việc đi vào vũ trụ, chúng ta đang nói về việc xây dựng các lò phản ứng nhiệt hạch. Tuyệt vời, hãy làm tất cả những điều đó, nhưng những nguyên tắc vật lý cơ bản này vẫn áp dụng.
So sánh hiệu quả năng lượng: Con người và AI hiện tại
Vì vậy, nếu chúng ta suy nghĩ kỹ hơn một chút, chúng ta có khoảng 8 tỷ người trên thế giới. Não của chúng ta tiêu thụ khoảng 20 watt mỗi bộ. Tổng cộng chỉ là 160 gigawatt. Vì vậy, toàn bộ nhân loại tiêu thụ 160 gigawatt. Để so sánh, chúng ta có khoảng 9.000 gigawatt công suất trên thế giới ngày nay. Hoa Kỳ có khoảng một nghìn. Và bạn biết đấy, điều này vận hành mọi thứ – sưởi ấm trong nhà bạn, tất cả mọi thứ, ô tô điện, tất cả những thứ đó. Nhưng nếu chúng ta nói rằng chúng ta có thêm 50% số này và nói rằng, "Tuyệt vời, bây giờ chúng ta có hơn 4.000 gigawatt." Nhưng vấn đề là mô hình điện toán hiện tại của chúng ta kém hiệu quả hơn rất nhiều. Vì vậy, một máy tính – tôi đang đưa ra một số con số ước tính ở đây – ý tôi là, nếu tôi chạy suy luận trên mỗi token, tôi có thể đưa ra các con số, nhưng nếu tính toán đầy đủ, lượng năng lượng tiêu tốn cho suy luận, xây dựng mô hình, chạy mô hình, tất cả những điều đó. Hãy gọi đó là một gigawatt, hoặc chắc chắn là trong phạm vi megawatt. Nhưng con người chỉ ở mức khoảng 20 watt. Và bạn cũng có thể lập luận rằng sự tiến hóa trong 4 tỷ năm đã tạo ra chúng ta như ngày nay. Nhưng thực tế là ngày nay, ràng buộc của chúng ta trở thành việc chúng ta có thể học hỏi nhanh đến mức nào? Chúng ta có thể xây dựng trí tuệ nhanh đến mức nào với một lượng năng lượng nhất định? Vì vậy, nếu chúng ta muốn xây dựng một tương lai nơi có rất nhiều trí tuệ trên thế giới và chúng ta đang tự động hóa mọi thứ mà chúng ta muốn thực sự hiệu quả hơn về mặt năng lượng, chúng ta sẽ cần nhiều watt hơn nữa. Hoặc chúng ta có thể nghĩ đến việc xây dựng một máy tính tiết kiệm điện hơn rất nhiều. Và đó là nơi chúng tôi phát huy.
Giới hạn nhiệt động lực học và hiệu quả năng lượng
Tôi rất thích đường cong này và tôi nghĩ hầu hết mọi người thực sự chưa từng nghĩ về nó, bởi vì bạn chỉ đơn thuần coi máy tính là máy tính. Và chúng ta chưa thực sự đặt câu hỏi về điều đó. Một lần nữa, đây là phần 'phi truyền thống': hãy mổ xẻ nó. Những giả định chúng ta đưa ra 80 năm trước thực sự không còn hoàn toàn hợp lệ nữa. Chúng ta chỉ chọn tiếp tục xây dựng dựa trên chúng vì tôi có thể tạo ra một sản phẩm trong hai năm, tôi có thể tạo ra thứ gì đó để bán trong hai năm. Nhưng chúng tôi đang đi theo một cách khác, chẳng hạn như, hãy quay lại những nguyên tắc cơ bản đó và xem liệu chúng ta có thể xây dựng thứ gì đó tốt hơn rất nhiều hay không. Vì vậy, có một giới hạn nhiệt động lực học cho trí tuệ trên mỗi watt. Điều đó có nghĩa là bạn không thể làm tốt hơn được nữa. Có một nguyên tắc gọi là nguyên tắc Landauer mà một số bạn có thể biết, về cơ bản gợi ý lượng tài nguyên tính toán có thể xảy ra trong một lượng năng lượng nhất định. Vì vậy, có một thực tế vật lý mà chúng ta không thể vượt qua và đó là đường tiệm cận này. Hiện tại, sinh học nằm đâu đó ở phía trên. Nó thực sự rất hiệu quả. 4 tỷ năm tiến hóa đã tạo ra một thứ thực sự rất hiệu quả. Tuy nhiên, nó vẫn chưa đạt đến đường tiệm cận. Có lẽ có khoảng cách hai bậc độ lớn giữa hai điều đó. Chúng ta thực sự đang ở đây, chúng ta đang ở phía dưới này. Và tôi nghĩ giới hạn của 2D lithography, đó là cách chip được xây dựng ngày nay, nằm ở đâu đó dưới đây. Và tôi nghĩ với nỗ lực tập trung, chúng ta có thể đạt đến điểm mà chúng ta đang đẩy giới hạn đó. Và vì vậy, chúng ta sẽ có một thứ mà – nhân tiện, điều này cách nơi chúng ta đang ở khoảng ba bậc độ lớn. Nó rất xa so với nơi chúng ta có thể đạt được về hiệu quả năng lượng. Và đó thực sự là điều chúng tôi đang tập trung vào ngày nay.
Vượt ra ngoài phép toán Ma trận và tìm cảm hứng từ sinh học
Vậy chúng ta làm điều đó như thế nào? Ý tôi là, vâng, thật tuyệt vời khi tạo ra thứ gì đó tiết kiệm năng lượng hơn, phải không? Nhưng thực tế là nó không hề đơn giản như vậy. Chúng ta không thể nghĩ về máy tính theo cùng một cách mà chúng ta đã làm. Nó không phải là một cỗ máy chạy phép toán ma trận. Đó là cách đơn giản để tiến lên. Nvidia tất nhiên đã thống trị thị trường đó và tiếp tục đẩy ranh giới. Nhưng nếu bạn nhìn vào các con số hiệu quả năng lượng, hiệu quả năng lượng thực tế của việc cung cấp một phép tính FP8 flop chẳng hạn, nó không tốt hơn nhiều. Chi phí đã giảm vì sản xuất tốt hơn, khả năng đóng gói của chúng ta tốt hơn, nhưng năng lượng thực tế trên mỗi flop với việc truy cập bộ nhớ thì không tốt hơn. Nó chỉ tăng dần theo thời gian. Tôi là một nhà khoa học thần kinh. Trước đó tôi là một kiến trúc sư máy tính trong 10 năm. Vì vậy, tôi đã suy nghĩ về vấn đề này trong một thời gian dài, thực sự là khoảng 30 năm. Vì vậy, đây là một thời điểm rất thú vị đối với cá nhân tôi. Và bạn biết đấy, sinh học thực sự cung cấp một minh chứng tồn tại. Ý tôi là, bạn có thể lập luận rằng, số lượng tokens mỗi giây của con người thấp hơn máy móc, nhưng trí tuệ lại cao hơn. Chúng ta vẫn chưa đạt đến điểm mà với hàng gigawatt mà chúng ta đang đổ vào, chúng ta có thể cạnh tranh trí tuệ của con người về mặt khám phá. Chúng ta sẽ đạt được điều đó. Chúng ta sẽ đạt được điều đó trong một thời gian rất ngắn. Nhưng nó sẽ phải trả giá bằng rất nhiều năng lượng.
Hiệu quả năng lượng đáng kinh ngạc của sinh học
Vì vậy, điều tôi nghĩ thú vị nhất ở đây không chỉ là não người tiêu thụ 20 watt, mà là lượng watt này tỷ lệ với trọng lượng. Não của một con khỉ Macaque có lẽ tiêu thụ chưa đến một watt. Và bạn thực sự thấy điều này xuyên suốt thế giới động vật có vú và cả thế giới côn trùng. Bạn có những hành vi rất phức tạp chỉ với vài milliwatt. Để tham khảo, điện thoại trong túi của bạn tiêu thụ khoảng một watt. Vì vậy, một con sóc nhảy từ cành cây này sang cành cây khác đang hoạt động với chưa đầy 10 milliwatt. Đó là 1/100 so với điện thoại của bạn. Chúng ta không thể thực sự làm điều này một cách hoàn hảo. Ví dụ, một con sóc nhảy qua 10 feet từ cành này sang cành khác trong gió và mọi thứ. Chúng ta không thể làm điều đó với một máy tính lớn hơn rất nhiều. Vì vậy, sinh học vẫn tạo ra thứ gì đó khá tuyệt vời. Và tôi chỉ cảm thấy rằng điều đó chưa được đánh giá đúng mức. Vì vậy, đây chỉ là một lời nhắc nhở nhỏ.
Động lực phi tuyến của não bộ
Vậy thì, tuyệt vời. Chúng ta thấy điều này một cách hiện tượng học: sinh học hiệu quả, có thể làm những điều đáng kinh ngạc, nhưng nó thực sự hoạt động như thế nào? Chúng ta không thực sự biết. Tôi thành thật mà nói, với tư cách là một nhà khoa học máy tính và một nhà khoa học thần kinh. Nhưng có một số ý tưởng mà chúng ta có thể khai thác từ khoa học thần kinh. Và một trong số đó là não bộ rất năng động. Nó không sử dụng phép toán ma trận để thực hiện tài nguyên tính toán. Nó sử dụng cái gọi là động lực phi tuyến (non-linear dynamics) để thực hiện tài nguyên tính toán. Điều này có nghĩa là có một sự tương tác thay đổi theo thời gian giữa các tế bào thần kinh và đó thực sự là nơi tài nguyên tính toán diễn ra. Vậy chúng ta có thể trích xuất điều đó và áp dụng nó vào các mạch tổng hợp không? Có thể. Chúng không thực hiện phép toán dấu phẩy động. Chúng không thực hiện phép toán ma trận. Chúng làm một cái gì đó có thể được mô tả như vậy, nhưng nó thực sự phong phú hơn nhiều vì những động lực phi tuyến này. Và chúng mang tính ngẫu nhiên. Tài nguyên tính toán của não bộ không phải là một và không nghiêm ngặt. Trong một máy tính kỹ thuật số, nếu chúng ta sai một hoặc không, toàn bộ hệ thống sẽ sụp đổ. Vì vậy, chúng thực sự không phải là máy tính.
Từ Đồng bộ hóa Kuramoto đến mạch điện tử não bộ
Vì vậy, tôi sẽ cố gắng trình bày nhanh phần này. Đây là một thứ gọi là Kuramoto synchronization (đồng bộ hóa Kuramoto). Vì vậy, nếu bạn nhìn vào một nhóm các bộ dao động (oscillators) ở đây và chúng được kết nối cứng nhắc với nhau trên tấm ván này, bạn sẽ thấy theo thời gian chúng bắt đầu ở bất kỳ trạng thái nào và sau đó chúng thực sự đồng bộ hóa. Đây là một ví dụ về một hệ thống động lực học (dynamical system) co rút hoặc hội tụ. Vì vậy, bất kể bạn bắt đầu nó như thế nào, nó đều hội tụ và chỉ dựa trên sự kết nối giữa chúng. Chúng ta có thể khái quát điều này thành một thứ có sự kết nối linh hoạt, gọi nó là sự kết nối có thể huấn luyện (trainable coupling) giữa những thứ đó. Và sau đó nó có thể có tất cả các loại động lực học thú vị. Nó có thể di chuyển qua không gian trạng thái của động lực học theo nhiều cách khác nhau. Vì vậy, nếu bạn khái quát điều này, bạn thực sự có thể nghĩ về một mạch điện tử. Bạn có thể nói rằng tôi có một loạt các bộ dao động và chúng có một cấu trúc mà trên đó chúng được kết nối. Và bây giờ khi tôi tạo ra cấu trúc này có thể huấn luyện, tôi thực sự có thể thấy một thứ gì đó bắt đầu trông giống hơn một chút với động lực học của não bộ. Nó thực sự có các tính phi tuyến (nonlinearities) và chúng tương tác với nhau theo những cách rất thú vị. Nó thực sự rất phong phú, đại diện cho rất nhiều thông tin. Đây là con chip thực tế mà chúng tôi sẽ xây dựng vào mùa hè này. Vì vậy, chúng tôi đã từ cơ bản không có nhóm vào tháng 1 đến một nguyên mẫu hoàn chỉnh trong 6 tháng và đó là nhờ AI.
Cách tính toán mới với động lực học phi tuyến
Điều thực sự thú vị của việc không bị gò bó là chúng ta có thể làm mọi thứ theo những cách hoàn toàn khác biệt. Cách chúng ta thực hiện tính toán với một hệ thống như thế này, theo phương pháp truyền thống, sẽ là lặp lại qua một dạng thời gian tuyến tính hóa. Đây là cách chúng ta làm mọi thứ trong một von Neumann machine. Chúng ta ghi trạng thái ra, truy xuất nó, thực hiện các thao tác trên đó, rồi ghi nó trở lại. Vì vậy, chúng ta liên tục đi tới đi lui. Hóa ra, đây chính là điều tiêu tốn phần lớn năng lượng trong một hệ thống tài nguyên tính toán hiện có.
Với một hệ thống có động lực học phi tuyến, tôi thực sự chỉ cần nói: "Đây là trạng thái ban đầu, hãy khởi động và để nó chạy." Vì vậy, bản thân vật lý về cơ bản thực hiện quá trình tính toán này, và nó thực hiện theo cách mà trạng thái là ngầm định, không phải là tường minh. Nói cách khác, nếu bạn muốn rút ra bất kỳ điều gì từ bài nói chuyện này, thì đó là chúng ta sử dụng trục thời gian của vật lý để thực hiện tính toán, điều mà các cấu trúc tài nguyên tính toán hiện có không làm.
Vậy câu hỏi đặt ra là: "Tôi có thể huấn luyện hệ thống này không?" Và câu trả lời là có. Tôi thực sự có thể điều khiển hệ thống đi theo nhiều hướng khác nhau. Trên thực tế, chúng tôi đã vạch ra trong không gian trạng thái một logo độc đáo. Đó là ý tưởng ở đây, và chúng tôi có thể huấn luyện nó theo một vài cách khác nhau. Vì vậy, có, chúng tôi có thể huấn luyện các hệ thống này và điều khiển chúng đi theo bất kỳ tập hợp quỹ đạo tùy ý nào.
Ứng dụng trong tạo ảnh bằng AI
Liệu chúng ta có thể thực hiện tính toán – liệu chúng ta có thể kết nối nó với các bài toán AI như tạo ảnh không? Thực ra, tôi có một phiên bản tốt hơn của điều này mà tôi có thể trình bày trong một bản demo nhanh gọn ở đây. Hãy chuyển sang phần tiếp theo. Chúng ta sẽ đến với bản demo. Vâng, về cơ bản, những gì bạn thấy ở đây là một thứ đang chạy trên một mô hình động lực học đã được huấn luyện trên các hình ảnh khác nhau.
Về cơ bản, tôi có thể nói: "Được rồi, tôi phải sử dụng mèo." Tôi nghĩ Andrew Ng đang ở đây. [tiếng cười] Để tôn vinh ông ấy, nhưng chúng ta có thể làm bất cứ điều gì. Về cơ bản, đây là một mô hình tạo sinh khá đơn giản. Và tôi có thể nói: "Được rồi, tại thời điểm t = 1, tôi sẽ backprop một lỗi từ sự ngẫu nhiên đến một lớp ảnh cụ thể." Và sau thời điểm đó, chúng tôi để hệ thống tự chạy một cách tự nhiên.
Và bạn sẽ thấy rằng nó thực sự đã gom biểu diễn của mình vào những nơi có ý nghĩa. Chúng không còn chỉ là những điểm ảnh ngẫu nhiên nữa, mà thực sự là những điểm ảnh tạo nên các loại máy móc hoặc các loại động vật khác nhau, hoặc bất cứ thứ gì. Ví dụ, đối với ngựa, tôi bắt đầu từ sự ngẫu nhiên và tại t = 1, bạn sẽ thấy nó hội tụ thành những vật thể giống ngựa. Và sau đó, theo thời gian, bạn thực sự sẽ thấy nó biến đổi giữa các vật thể đó. Vì vậy, nó đã học được trong không gian trạng thái rằng tôi có thể di chuyển giữa các vật thể khác nhau này. Vậy chúng ta hãy chuyển ra khỏi đây.
Tiến hóa mô hình điện toán: Từ von Neumann đến phi-von Neumann
Đây thực sự là sự xuất hiện của một điều gì đó mới mẻ. CPU thực hiện tốt nhất các tác vụ đơn luồng rất nhanh. Ngay cả ngày nay, nó vẫn nhanh hơn GPU. Và điều bạn đang làm thực sự là loại von Neumann machine này, nơi bạn di chuyển vào và ra khỏi bộ nhớ và bộ đệm để thực hiện các thao tác. GPU về cơ bản làm điều này với nhiều toán hạng cùng một lúc. Vì vậy, bạn di chuyển một loạt các toán hạng từ bộ nhớ, thực hiện một số thao tác với chúng, ghi lại. Tính toán tại bộ nhớ như Groq đã làm điều tương tự, nhưng chỉ làm trên chip. Nó giống như một phiên bản chi tiết hơn của điều này.
Bây giờ, điều chúng ta đang nói đến là thực hiện một cái gì đó trong một hệ thống động lực học. Trạng thái và hàm được chồng chéo với chính vật lý. Vì vậy, bạn không còn sự tách biệt giữa trạng thái và tính toán nữa. Và bạn biết đấy, hiệu quả tính toán tăng lên, đương nhiên, khả năng tư duy đột phá cũng tăng lên. Và đây thực sự là phi-von Neumann.
Với những điều đó, tôi xin kết thúc bằng câu nói này. Đây là điều đã dẫn lối cho cả cuộc đời tôi, và tôi thực sự hào hứng với thời điểm này vì tôi đã suy nghĩ về vấn đề này trong 30 năm. Và chúng ta đang ở thời điểm mà tôi nghĩ rằng chúng ta thực sự có thể bắt đầu hiểu cách bộ não hoạt động, bởi vì bây giờ chúng ta có thể xây dựng chúng. Cảm ơn. [tiếng vỗ tay]
TL;DR
- Naveen Rao's Unconventional AI đang giải quyết cuộc khủng hoảng năng lượng sắp tới của AI bằng cách định nghĩa lại điện toán từ lớp vật lý cơ bản, hướng tới hiệu quả năng lượng cao hơn đáng kể.
- Công ty này từ bỏ các mô hình điện toán truyền thống như kiến trúc von Neumann và phép toán ma trận, thay vào đó lấy cảm hứng từ hiệu quả năng lượng vượt trội của não bộ sinh học.
- Họ phát triển các chip dựa trên "động lực phi tuyến" và "hệ thống động lực học", nơi vật lý tự thực hiện tính toán theo thời gian, hứa hẹn cải thiện hiệu quả năng lượng lên nhiều bậc độ lớn.
Điểm chính
- Tái đánh giá nguyên tắc điện toán cơ bản: Các mô hình điện toán kỹ thuật số và kiến trúc
von Neumannhiện tại (đã 80 năm tuổi) đang chạm đến giới hạn năng lượng choAI, đòi hỏi phải quay lại các nguyên tắc vật lý cơ bản để xây dựng các mô hình điện toán mới. - Giải quyết khủng hoảng năng lượng của AI: Mức tiêu thụ năng lượng khổng lồ của
AIhiện tại (gigawatt cho huấn luyện và suy luận) là không bền vững và dự kiến sẽ vượt quá khả năng cung cấp năng lượng toàn cầu trong 2-4 năm tới nếu không có những đột phá về hiệu quả. - Khai thác cảm hứng từ sinh học: Não bộ sinh học cung cấp một "minh chứng tồn tại" cho trí tuệ siêu hiệu quả, sử dụng
động lực phi tuyếnvà các tương tác năng động thay vì cácphép toán ma trậntốn nhiều năng lượng và truy cập bộ nhớ tường minh. - Chuyển đổi sang kiến trúc phi-von Neumann: Phát triển các chip mới nơi
trạng tháivàhàmđược tích hợp vào chính hệ thống vật lý, cho phéptính toándiễn ra một cách ngầm định thông quađộng lực phi tuyếntheo thời gian, giảm đáng kể chi phí năng lượng. - Sử dụng trục thời gian của vật lý cho tính toán: Thay vì các hoạt động từng bước, tuần tự tiêu tốn năng lượng trong các hệ thống kỹ thuật số truyền thống, phương pháp mới tận dụng trục thời gian vật lý để tự thực hiện quá trình
tính toán. - Tập trung vào hiệu quả năng lượng ở lớp vật lý: Ưu tiên cải thiện
hiệu quả tài nguyên tính toánở cấp độ phần cứng cơ bản nhất, hướng tới mục tiêu tăng hiệu quả lên gấp ba bậc độ lớn so với những gì tối ưu hóa thuật toán hoặc dữ liệu có thể đạt được. - Hệ thống động lực học có thể huấn luyện cho AI: Xây dựng các
hệ thống động lực học(lấy cảm hứng từđồng bộ hóa Kuramoto) có thể được huấn luyện để điều khiểnquỹ đạotrongkhông gian trạng tháicủa chúng nhằm thực hiện các tác vụAI, ví dụ như tạo ảnh.
Từ vựng
mô hình tiên phong— pioneering model / pioneertài nguyên tính toán— computational resourceshiệu quả năng lượng— energy efficiencymô hình điện toán— computational modelkiến trúc von Neumann— von Neumann architecturephi-von Neumann— non-von Neumannđộng lực phi tuyến— non-linear dynamicshệ thống động lực học— dynamical systemphép toán ma trận— matrix operationskhông gian trạng thái— state space
Nội dung chi tiết
Giới thiệu Naveen Rao và Unconventional AI
Chúng ta sẽ chuyển sang chuỗi các bài nói về mô hình tiên phong tiếp theo. Người đầu tiên là Naveen Rao. Naveen là một người tiên phong trong lĩnh vực AI. Ông hoàn thành bằng tiến sĩ về khoa học thần kinh, sau đó thành lập một trong những công ty chip AI đầu tiên, rất lâu trước khi nó trở nên phổ biến. Ông cũng là người điều hành Mosaic ML, một trong những công ty huấn luyện AI đầu tiên, và sau đó xây dựng toàn bộ hệ thống AI của Data Bricks. Ông đã từ bỏ vai trò tuyệt vời đó để làm điều gì đó mới mẻ, định nghĩa lại tương lai của điện toán và mang sự thú vị trở lại với khoa học thần kinh. Xin mời Naveen.
[Tiếng vỗ tay]
Chào buổi chiều mọi người. Vâng, tôi rất vui khi được ở đây. Tôi là Naveen Rao, Giám đốc điều hành của Unconventional AI. Chúng tôi tự gọi mình là "Unconventional" (Phi truyền thống) bởi vì có lẽ đó là từ sai để dùng, tôi nghĩ chúng tôi sẽ đổi tên thành "Conventional" (Truyền thống). Đây thực sự là thời điểm tuyệt vời để trở thành một công ty khởi nghiệp, như Boris đã đề cập, phải không? Việc không có gánh nặng thực sự là một lợi thế cạnh tranh. Chúng tôi có thể làm mọi thứ nhanh hơn nhiều so với các công ty chip truyền thống và các công ty ngăn xếp phần mềm có thể làm. Và tôi nghĩ đó là điều rất thú vị. Chúng tôi có thể ra mắt chip mẫu trong vài tháng thay vì nhiều năm, những điều tương tự. Dù sao thì, hãy bắt đầu. Tôi đưa ra điều này ở đây. Tôi có thể đảm bảo với bạn rằng một số bạn đang cố gắng chứng minh tôi sai. Đột nhiên bạn nghĩ, ôi trời ơi, tôi có thể nghe thấy bánh răng đang quay, điều đó không thể đúng. Vâng, hãy để tôi giải thích một chút về logic của mình và định nghĩa về điều tôi gọi là ASI.
Hiệu quả Tài nguyên tính toán ở cấp độ vật lý
Vì vậy, tôi thực sự nghĩ rằng chúng ta cần đạt được hiệu quả tài nguyên tính toán cao hơn nhiều. Và khi tôi nói hiệu quả tài nguyên tính toán, tôi không có ý nói đến hiệu quả tài nguyên tính toán theo thuật toán hay hiệu quả dữ liệu. Có rất nhiều người đang nghiên cứu những vấn đề này. Tôi thực sự muốn nói đến lớp nền tảng cơ bản. Thực tế là cách chúng ta xử lý thông tin ở cấp độ vật lý. Chúng ta đã chọn một con đường để máy tính hoạt động theo cách chúng đã làm vì nhiều lý do, khoảng 80 năm trước. Nếu bạn nghĩ về điều đó, trong ngành công nghệ, có bao nhiêu thứ đã tồn tại trong 80 năm? Không nhiều. Các khái niệm trừu tượng kỹ thuật số như số dấu phẩy động, chúng đã có từ những năm 1940. Và cho một cỗ máy được xây dựng từ một lớp nền tảng hoàn toàn khác và cho một cỗ máy được xây dựng với mục đích hoàn toàn khác. Và bây giờ chúng ta đang xây dựng những cỗ máy dành cho trí tuệ. Vì vậy, hãy suy nghĩ kỹ hơn một chút về điều này.
Khủng hoảng năng lượng của AI
Vì vậy, một phần của vấn đề này là AI sẽ giúp chúng ta hiệu quả hơn. Ý tôi là, chúng ta đã nói về việc lập trình và, bạn biết đấy, chạy hàng nghìn tác nhân (AI) trên điện thoại của bạn, tất cả những thứ đó, phải không? Nó thực sự giúp chúng ta hiệu quả hơn. Nhưng đến một lúc nào đó, chúng ta bắt đầu đạt đến một điểm mà hiệu quả thực sự có nghĩa là gì? Nếu bạn nghĩ về năng lượng, năng lượng thực tế, có lẽ chúng ta thực sự không hiệu quả hơn. Và chúng ta đang đối mặt với những giới hạn của thế giới vật lý ngay bây giờ. Bạn biết đấy, hiện nay chúng ta đã sử dụng nhiều gigawatt cho suy luận và huấn luyện AI. Và chúng ta sẽ đạt đến một điểm trong vài năm tới – đây không phải là 10 năm nữa, mà là hai, ba, bốn năm – khi chúng ta không còn đủ năng lượng trên thế giới cho AI nữa. Khi đó, chủ đề này bắt đầu trở nên rất, rất quan trọng. Hiện tại, bạn có thể nhìn nhận nó như năng lượng điện so với thức ăn. Đây là hai nguồn năng lượng cho trí tuệ. Và bạn biết đấy, không có giới hạn thực sự nào về phía điện, nhưng điều đó sẽ sớm gặp phải một bức tường vững chắc. Và bạn biết đấy, chúng ta đang nói về việc đi vào vũ trụ, chúng ta đang nói về việc xây dựng các lò phản ứng nhiệt hạch. Tuyệt vời, hãy làm tất cả những điều đó, nhưng những nguyên tắc vật lý cơ bản này vẫn áp dụng.
So sánh hiệu quả năng lượng: Con người và AI hiện tại
Vì vậy, nếu chúng ta suy nghĩ kỹ hơn một chút, chúng ta có khoảng 8 tỷ người trên thế giới. Não của chúng ta tiêu thụ khoảng 20 watt mỗi bộ. Tổng cộng chỉ là 160 gigawatt. Vì vậy, toàn bộ nhân loại tiêu thụ 160 gigawatt. Để so sánh, chúng ta có khoảng 9.000 gigawatt công suất trên thế giới ngày nay. Hoa Kỳ có khoảng một nghìn. Và bạn biết đấy, điều này vận hành mọi thứ – sưởi ấm trong nhà bạn, tất cả mọi thứ, ô tô điện, tất cả những thứ đó. Nhưng nếu chúng ta nói rằng chúng ta có thêm 50% số này và nói rằng, "Tuyệt vời, bây giờ chúng ta có hơn 4.000 gigawatt." Nhưng vấn đề là mô hình điện toán hiện tại của chúng ta kém hiệu quả hơn rất nhiều. Vì vậy, một máy tính – tôi đang đưa ra một số con số ước tính ở đây – ý tôi là, nếu tôi chạy suy luận trên mỗi token, tôi có thể đưa ra các con số, nhưng nếu tính toán đầy đủ, lượng năng lượng tiêu tốn cho suy luận, xây dựng mô hình, chạy mô hình, tất cả những điều đó. Hãy gọi đó là một gigawatt, hoặc chắc chắn là trong phạm vi megawatt. Nhưng con người chỉ ở mức khoảng 20 watt. Và bạn cũng có thể lập luận rằng sự tiến hóa trong 4 tỷ năm đã tạo ra chúng ta như ngày nay. Nhưng thực tế là ngày nay, ràng buộc của chúng ta trở thành việc chúng ta có thể học hỏi nhanh đến mức nào? Chúng ta có thể xây dựng trí tuệ nhanh đến mức nào với một lượng năng lượng nhất định? Vì vậy, nếu chúng ta muốn xây dựng một tương lai nơi có rất nhiều trí tuệ trên thế giới và chúng ta đang tự động hóa mọi thứ mà chúng ta muốn thực sự hiệu quả hơn về mặt năng lượng, chúng ta sẽ cần nhiều watt hơn nữa. Hoặc chúng ta có thể nghĩ đến việc xây dựng một máy tính tiết kiệm điện hơn rất nhiều. Và đó là nơi chúng tôi phát huy.
Giới hạn nhiệt động lực học và hiệu quả năng lượng
Tôi rất thích đường cong này và tôi nghĩ hầu hết mọi người thực sự chưa từng nghĩ về nó, bởi vì bạn chỉ đơn thuần coi máy tính là máy tính. Và chúng ta chưa thực sự đặt câu hỏi về điều đó. Một lần nữa, đây là phần 'phi truyền thống': hãy mổ xẻ nó. Những giả định chúng ta đưa ra 80 năm trước thực sự không còn hoàn toàn hợp lệ nữa. Chúng ta chỉ chọn tiếp tục xây dựng dựa trên chúng vì tôi có thể tạo ra một sản phẩm trong hai năm, tôi có thể tạo ra thứ gì đó để bán trong hai năm. Nhưng chúng tôi đang đi theo một cách khác, chẳng hạn như, hãy quay lại những nguyên tắc cơ bản đó và xem liệu chúng ta có thể xây dựng thứ gì đó tốt hơn rất nhiều hay không. Vì vậy, có một giới hạn nhiệt động lực học cho trí tuệ trên mỗi watt. Điều đó có nghĩa là bạn không thể làm tốt hơn được nữa. Có một nguyên tắc gọi là nguyên tắc Landauer mà một số bạn có thể biết, về cơ bản gợi ý lượng tài nguyên tính toán có thể xảy ra trong một lượng năng lượng nhất định. Vì vậy, có một thực tế vật lý mà chúng ta không thể vượt qua và đó là đường tiệm cận này. Hiện tại, sinh học nằm đâu đó ở phía trên. Nó thực sự rất hiệu quả. 4 tỷ năm tiến hóa đã tạo ra một thứ thực sự rất hiệu quả. Tuy nhiên, nó vẫn chưa đạt đến đường tiệm cận. Có lẽ có khoảng cách hai bậc độ lớn giữa hai điều đó. Chúng ta thực sự đang ở đây, chúng ta đang ở phía dưới này. Và tôi nghĩ giới hạn của 2D lithography, đó là cách chip được xây dựng ngày nay, nằm ở đâu đó dưới đây. Và tôi nghĩ với nỗ lực tập trung, chúng ta có thể đạt đến điểm mà chúng ta đang đẩy giới hạn đó. Và vì vậy, chúng ta sẽ có một thứ mà – nhân tiện, điều này cách nơi chúng ta đang ở khoảng ba bậc độ lớn. Nó rất xa so với nơi chúng ta có thể đạt được về hiệu quả năng lượng. Và đó thực sự là điều chúng tôi đang tập trung vào ngày nay.
Vượt ra ngoài phép toán Ma trận và tìm cảm hứng từ sinh học
Vậy chúng ta làm điều đó như thế nào? Ý tôi là, vâng, thật tuyệt vời khi tạo ra thứ gì đó tiết kiệm năng lượng hơn, phải không? Nhưng thực tế là nó không hề đơn giản như vậy. Chúng ta không thể nghĩ về máy tính theo cùng một cách mà chúng ta đã làm. Nó không phải là một cỗ máy chạy phép toán ma trận. Đó là cách đơn giản để tiến lên. Nvidia tất nhiên đã thống trị thị trường đó và tiếp tục đẩy ranh giới. Nhưng nếu bạn nhìn vào các con số hiệu quả năng lượng, hiệu quả năng lượng thực tế của việc cung cấp một phép tính FP8 flop chẳng hạn, nó không tốt hơn nhiều. Chi phí đã giảm vì sản xuất tốt hơn, khả năng đóng gói của chúng ta tốt hơn, nhưng năng lượng thực tế trên mỗi flop với việc truy cập bộ nhớ thì không tốt hơn. Nó chỉ tăng dần theo thời gian. Tôi là một nhà khoa học thần kinh. Trước đó tôi là một kiến trúc sư máy tính trong 10 năm. Vì vậy, tôi đã suy nghĩ về vấn đề này trong một thời gian dài, thực sự là khoảng 30 năm. Vì vậy, đây là một thời điểm rất thú vị đối với cá nhân tôi. Và bạn biết đấy, sinh học thực sự cung cấp một minh chứng tồn tại. Ý tôi là, bạn có thể lập luận rằng, số lượng tokens mỗi giây của con người thấp hơn máy móc, nhưng trí tuệ lại cao hơn. Chúng ta vẫn chưa đạt đến điểm mà với hàng gigawatt mà chúng ta đang đổ vào, chúng ta có thể cạnh tranh trí tuệ của con người về mặt khám phá. Chúng ta sẽ đạt được điều đó. Chúng ta sẽ đạt được điều đó trong một thời gian rất ngắn. Nhưng nó sẽ phải trả giá bằng rất nhiều năng lượng.
Hiệu quả năng lượng đáng kinh ngạc của sinh học
Vì vậy, điều tôi nghĩ thú vị nhất ở đây không chỉ là não người tiêu thụ 20 watt, mà là lượng watt này tỷ lệ với trọng lượng. Não của một con khỉ Macaque có lẽ tiêu thụ chưa đến một watt. Và bạn thực sự thấy điều này xuyên suốt thế giới động vật có vú và cả thế giới côn trùng. Bạn có những hành vi rất phức tạp chỉ với vài milliwatt. Để tham khảo, điện thoại trong túi của bạn tiêu thụ khoảng một watt. Vì vậy, một con sóc nhảy từ cành cây này sang cành cây khác đang hoạt động với chưa đầy 10 milliwatt. Đó là 1/100 so với điện thoại của bạn. Chúng ta không thể thực sự làm điều này một cách hoàn hảo. Ví dụ, một con sóc nhảy qua 10 feet từ cành này sang cành khác trong gió và mọi thứ. Chúng ta không thể làm điều đó với một máy tính lớn hơn rất nhiều. Vì vậy, sinh học vẫn tạo ra thứ gì đó khá tuyệt vời. Và tôi chỉ cảm thấy rằng điều đó chưa được đánh giá đúng mức. Vì vậy, đây chỉ là một lời nhắc nhở nhỏ.
Động lực phi tuyến của não bộ
Vậy thì, tuyệt vời. Chúng ta thấy điều này một cách hiện tượng học: sinh học hiệu quả, có thể làm những điều đáng kinh ngạc, nhưng nó thực sự hoạt động như thế nào? Chúng ta không thực sự biết. Tôi thành thật mà nói, với tư cách là một nhà khoa học máy tính và một nhà khoa học thần kinh. Nhưng có một số ý tưởng mà chúng ta có thể khai thác từ khoa học thần kinh. Và một trong số đó là não bộ rất năng động. Nó không sử dụng phép toán ma trận để thực hiện tài nguyên tính toán. Nó sử dụng cái gọi là động lực phi tuyến (non-linear dynamics) để thực hiện tài nguyên tính toán. Điều này có nghĩa là có một sự tương tác thay đổi theo thời gian giữa các tế bào thần kinh và đó thực sự là nơi tài nguyên tính toán diễn ra. Vậy chúng ta có thể trích xuất điều đó và áp dụng nó vào các mạch tổng hợp không? Có thể. Chúng không thực hiện phép toán dấu phẩy động. Chúng không thực hiện phép toán ma trận. Chúng làm một cái gì đó có thể được mô tả như vậy, nhưng nó thực sự phong phú hơn nhiều vì những động lực phi tuyến này. Và chúng mang tính ngẫu nhiên. Tài nguyên tính toán của não bộ không phải là một và không nghiêm ngặt. Trong một máy tính kỹ thuật số, nếu chúng ta sai một hoặc không, toàn bộ hệ thống sẽ sụp đổ. Vì vậy, chúng thực sự không phải là máy tính.
Từ Đồng bộ hóa Kuramoto đến mạch điện tử não bộ
Vì vậy, tôi sẽ cố gắng trình bày nhanh phần này. Đây là một thứ gọi là Kuramoto synchronization (đồng bộ hóa Kuramoto). Vì vậy, nếu bạn nhìn vào một nhóm các bộ dao động (oscillators) ở đây và chúng được kết nối cứng nhắc với nhau trên tấm ván này, bạn sẽ thấy theo thời gian chúng bắt đầu ở bất kỳ trạng thái nào và sau đó chúng thực sự đồng bộ hóa. Đây là một ví dụ về một hệ thống động lực học (dynamical system) co rút hoặc hội tụ. Vì vậy, bất kể bạn bắt đầu nó như thế nào, nó đều hội tụ và chỉ dựa trên sự kết nối giữa chúng. Chúng ta có thể khái quát điều này thành một thứ có sự kết nối linh hoạt, gọi nó là sự kết nối có thể huấn luyện (trainable coupling) giữa những thứ đó. Và sau đó nó có thể có tất cả các loại động lực học thú vị. Nó có thể di chuyển qua không gian trạng thái của động lực học theo nhiều cách khác nhau. Vì vậy, nếu bạn khái quát điều này, bạn thực sự có thể nghĩ về một mạch điện tử. Bạn có thể nói rằng tôi có một loạt các bộ dao động và chúng có một cấu trúc mà trên đó chúng được kết nối. Và bây giờ khi tôi tạo ra cấu trúc này có thể huấn luyện, tôi thực sự có thể thấy một thứ gì đó bắt đầu trông giống hơn một chút với động lực học của não bộ. Nó thực sự có các tính phi tuyến (nonlinearities) và chúng tương tác với nhau theo những cách rất thú vị. Nó thực sự rất phong phú, đại diện cho rất nhiều thông tin. Đây là con chip thực tế mà chúng tôi sẽ xây dựng vào mùa hè này. Vì vậy, chúng tôi đã từ cơ bản không có nhóm vào tháng 1 đến một nguyên mẫu hoàn chỉnh trong 6 tháng và đó là nhờ AI.
Cách tính toán mới với động lực học phi tuyến
Điều thực sự thú vị của việc không bị gò bó là chúng ta có thể làm mọi thứ theo những cách hoàn toàn khác biệt. Cách chúng ta thực hiện tính toán với một hệ thống như thế này, theo phương pháp truyền thống, sẽ là lặp lại qua một dạng thời gian tuyến tính hóa. Đây là cách chúng ta làm mọi thứ trong một von Neumann machine. Chúng ta ghi trạng thái ra, truy xuất nó, thực hiện các thao tác trên đó, rồi ghi nó trở lại. Vì vậy, chúng ta liên tục đi tới đi lui. Hóa ra, đây chính là điều tiêu tốn phần lớn năng lượng trong một hệ thống tài nguyên tính toán hiện có.
Với một hệ thống có động lực học phi tuyến, tôi thực sự chỉ cần nói: "Đây là trạng thái ban đầu, hãy khởi động và để nó chạy." Vì vậy, bản thân vật lý về cơ bản thực hiện quá trình tính toán này, và nó thực hiện theo cách mà trạng thái là ngầm định, không phải là tường minh. Nói cách khác, nếu bạn muốn rút ra bất kỳ điều gì từ bài nói chuyện này, thì đó là chúng ta sử dụng trục thời gian của vật lý để thực hiện tính toán, điều mà các cấu trúc tài nguyên tính toán hiện có không làm.
Vậy câu hỏi đặt ra là: "Tôi có thể huấn luyện hệ thống này không?" Và câu trả lời là có. Tôi thực sự có thể điều khiển hệ thống đi theo nhiều hướng khác nhau. Trên thực tế, chúng tôi đã vạch ra trong không gian trạng thái một logo độc đáo. Đó là ý tưởng ở đây, và chúng tôi có thể huấn luyện nó theo một vài cách khác nhau. Vì vậy, có, chúng tôi có thể huấn luyện các hệ thống này và điều khiển chúng đi theo bất kỳ tập hợp quỹ đạo tùy ý nào.
Ứng dụng trong tạo ảnh bằng AI
Liệu chúng ta có thể thực hiện tính toán – liệu chúng ta có thể kết nối nó với các bài toán AI như tạo ảnh không? Thực ra, tôi có một phiên bản tốt hơn của điều này mà tôi có thể trình bày trong một bản demo nhanh gọn ở đây. Hãy chuyển sang phần tiếp theo. Chúng ta sẽ đến với bản demo. Vâng, về cơ bản, những gì bạn thấy ở đây là một thứ đang chạy trên một mô hình động lực học đã được huấn luyện trên các hình ảnh khác nhau.
Về cơ bản, tôi có thể nói: "Được rồi, tôi phải sử dụng mèo." Tôi nghĩ Andrew Ng đang ở đây. [tiếng cười] Để tôn vinh ông ấy, nhưng chúng ta có thể làm bất cứ điều gì. Về cơ bản, đây là một mô hình tạo sinh khá đơn giản. Và tôi có thể nói: "Được rồi, tại thời điểm t = 1, tôi sẽ backprop một lỗi từ sự ngẫu nhiên đến một lớp ảnh cụ thể." Và sau thời điểm đó, chúng tôi để hệ thống tự chạy một cách tự nhiên.
Và bạn sẽ thấy rằng nó thực sự đã gom biểu diễn của mình vào những nơi có ý nghĩa. Chúng không còn chỉ là những điểm ảnh ngẫu nhiên nữa, mà thực sự là những điểm ảnh tạo nên các loại máy móc hoặc các loại động vật khác nhau, hoặc bất cứ thứ gì. Ví dụ, đối với ngựa, tôi bắt đầu từ sự ngẫu nhiên và tại t = 1, bạn sẽ thấy nó hội tụ thành những vật thể giống ngựa. Và sau đó, theo thời gian, bạn thực sự sẽ thấy nó biến đổi giữa các vật thể đó. Vì vậy, nó đã học được trong không gian trạng thái rằng tôi có thể di chuyển giữa các vật thể khác nhau này. Vậy chúng ta hãy chuyển ra khỏi đây.
Tiến hóa mô hình điện toán: Từ von Neumann đến phi-von Neumann
Đây thực sự là sự xuất hiện của một điều gì đó mới mẻ. CPU thực hiện tốt nhất các tác vụ đơn luồng rất nhanh. Ngay cả ngày nay, nó vẫn nhanh hơn GPU. Và điều bạn đang làm thực sự là loại von Neumann machine này, nơi bạn di chuyển vào và ra khỏi bộ nhớ và bộ đệm để thực hiện các thao tác. GPU về cơ bản làm điều này với nhiều toán hạng cùng một lúc. Vì vậy, bạn di chuyển một loạt các toán hạng từ bộ nhớ, thực hiện một số thao tác với chúng, ghi lại. Tính toán tại bộ nhớ như Groq đã làm điều tương tự, nhưng chỉ làm trên chip. Nó giống như một phiên bản chi tiết hơn của điều này.
Bây giờ, điều chúng ta đang nói đến là thực hiện một cái gì đó trong một hệ thống động lực học. Trạng thái và hàm được chồng chéo với chính vật lý. Vì vậy, bạn không còn sự tách biệt giữa trạng thái và tính toán nữa. Và bạn biết đấy, hiệu quả tính toán tăng lên, đương nhiên, khả năng tư duy đột phá cũng tăng lên. Và đây thực sự là phi-von Neumann.
Với những điều đó, tôi xin kết thúc bằng câu nói này. Đây là điều đã dẫn lối cho cả cuộc đời tôi, và tôi thực sự hào hứng với thời điểm này vì tôi đã suy nghĩ về vấn đề này trong 30 năm. Và chúng ta đang ở thời điểm mà tôi nghĩ rằng chúng ta thực sự có thể bắt đầu hiểu cách bộ não hoạt động, bởi vì bây giờ chúng ta có thể xây dựng chúng. Cảm ơn. [tiếng vỗ tay]