Bỏ qua đến nội dung chính

Starcloud's Philip Johnston: Why the Cheapest Compute Will Be in Space

TL;DR

  • Star Cloud đã thành công triển khai các GPU cấp trung tâm dữ liệu hiện đại (Nvidia H100) trong không gian, chứng minh khả năng huấn luyện mô hình AI và thực hiện suy luận công suất cao, vượt qua các thách thức về tản nhiệt và bức xạ.
  • Xây dựng trung tâm dữ liệu trong không gian mang lại lợi thế kinh tế đáng kể so với trên Trái Đất, chủ yếu do loại bỏ chi phí đất đai và lưu trữ pin nhờ nguồn năng lượng mặt trời 24/7 hiệu quả gấp 8 lần.
  • Công ty đang hướng tới xây dựng một chòm vệ tinh gồm 88.000 vệ tinh cung cấp 20 gigawatt tài nguyên tính toán AI suy luận với độ trễ thấp toàn cầu, được coi là bước khởi đầu cho một dự án cơ sở hạ tầng khổng lồ và có thể là nền văn minh cấp độ cao hơn.

Điểm chính

  • Các GPU cấp trung tâm dữ liệu hiện đại, như Nvidia H100, có thể hoạt động hiệu quả trong không gian cho các tác vụ AI, bao gồm huấn luyện mô hình và suy luận công suất cao, bất chấp những lo ngại về tản nhiệt và lỗi bit do bức xạ.
  • Chi phí năng lượng cho trung tâm dữ liệu trong không gian thấp hơn đáng kể so với trên Trái Đất do không cần chi phí đất cấp phép, không cần lưu trữ pin lớn (nhờ ánh sáng mặt trời 24/7), và hiệu suất pin mặt trời cao gấp 8 lần.
  • Điểm hòa vốn để chuyển đổi sang trung tâm dữ liệu không gian được ước tính ở chi phí phóng khoảng 500 đô la mỗi kg, có thể đạt được với các phương tiện phóng thế hệ tiếp theo như Starship.
  • Vấn đề tản nhiệt trong chân không được giải quyết bằng cách sử dụng các bộ tản nhiệt có diện tích bề mặt lớn để phát nhiệt hồng ngoại, đồng thời phát triển các chip chuyên biệt (như Nvidia Ruben 1) có thể hoạt động ở nhiệt độ cao hơn để giảm khối lượng bộ tản nhiệt.
  • Khả năng chịu bức xạ của phần cứng được đảm bảo thông qua thử nghiệm rộng rãi trên mặt đất tại các máy gia tốc hạt để định hình che chắn và phát triển phần mềm, giúp giảm thiểu lỗi bit.
  • Star Cloud tập trung vào khối lượng công việc suy luận AI trong tương lai gần, vì chúng dự kiến sẽ chiếm phần lớn thị trường tài nguyên tính toán và ít yêu cầu cơ sở hạ tầng cực lớn như huấn luyện mô hình quy mô lớn.
  • Chòm vệ tinh 88.000 vệ tinh được đề xuất sẽ đặt trong quỹ đạo đồng bộ mặt trời "bình minh-hoàng hôn", đảm bảo năng lượng liên tục 24/7 và độ trễ dưới 50 mili giây đến bất kỳ nơi nào trên Trái Đất thông qua liên kết quang học.

Từ vựng

  • GPU — Đơn vị xử lý đồ họa
  • H100 — Chip H100
  • bit error — lỗi bit
  • SAR (Synthetic Aperture Radar) — Radar khẩu độ tổng hợp
  • tài nguyên tính toán — compute resources
  • Starship — Starship (tên phương tiện phóng)
  • Kessler Syndrome — Hội chứng Kessler
  • cyclotron — máy gia tốc hạt
  • inference — suy luận (trong AI)
  • agent — tác nhân (trong AI)

Nội dung chi tiết

Cảm ơn rất nhiều vì đã mời tôi. Tên tôi là Philip Johnston và tôi là đồng sáng lập kiêm Giám đốc điều hành của Star Cloud. Giống như công ty trước, chúng tôi cũng đang lạm dụng GPU theo những cách mà chúng không được thiết kế cho.

[tiếng cười] Đúng vậy, chúng tôi đang xây dựng các trung tâm dữ liệu trong không gian, chủ yếu để khai thác năng lượng mà chúng tôi có thể sử dụng. Tôi sẽ dành 5 phút tới để giải thích tại sao việc xây dựng trung tâm dữ liệu trong không gian sẽ sớm có ý nghĩa hơn nhiều so với việc xây dựng chúng trên Trái Đất. Sau đó, tôi sẽ dành 5 phút cho phần hỏi đáp. Vì vậy, xin vui lòng bắt đầu suy nghĩ về các câu hỏi.

Tuy nhiên, trước đó, tôi muốn trình chiếu một video ngắn về quá trình triển khai Star Cloud 1. Nó có năm GPU của Nvidia, nhưng quan trọng nhất là chip H100 của Nvidia. Tôi sẽ nhanh chóng chạy video trước. Star Cloud 1 đã tách thành công.

Đôi khi chúng ta không có được một video triển khai tuyệt vời như vậy đâu. Một nửa số lần, họ triển khai nó vào vùng tối.

[tiếng cười]

Triển Khai Star Cloud 1 và Khả Năng Vận Hành GPU Trong Không Gian

Lý do điều này rất quan trọng là vì cho đến thời điểm đó, nhiều người nghĩ rằng bạn thực sự không thể chạy các GPU cấp trung tâm dữ liệu hiện đại trên mặt đất trong không gian vì hai lý do chính. Một là tản nhiệt. Chúng có mật độ năng lượng rất cao, tạo ra rất nhiều nhiệt. Thứ hai là khả năng chịu bức xạ. Mọi người nghĩ rằng sẽ có lỗi bit ở tốc độ quá cao.

Với con chip này, chúng tôi là những người đầu tiên huấn luyện một mô hình trong không gian. Chúng tôi thực sự đã huấn luyện nano GPT của Andrej Karpathy. Sau đó, chúng tôi cũng là những người đầu tiên chạy một phiên bản của Gemini, những người đầu tiên thực hiện suy luận công suất cao trên dữ liệu SAR (tức là dữ liệu vệ tinh khác). Vì vậy, đây là một bước rất quan trọng trong việc chứng minh rằng chúng tôi thực sự có thể vận hành các hệ thống hiện đại tương tự như trên mặt đất.

So Sánh Chi Phí Năng Lượng: Trái Đất và Không Gian

Để chứng minh tại sao việc này sẽ sớm có ý nghĩa hơn về chi phí năng lượng, tôi muốn nhanh chóng so sánh với một dự án điện mặt trời trên Trái Đất, vì năng lượng mặt trời là hình thức năng lượng rẻ nhất mà chúng ta có.

Nếu bạn muốn xây dựng một dự án điện mặt trời để cấp nguồn cho một trung tâm dữ liệu mới, bạn sẽ có ba chi phí chính:

  1. Chi phí đất đã được cấp phép: Trên thực tế, ở Bắc Mỹ, đây là chi phí lớn nhất hoặc có thể là lớn nhất đối với hầu hết các dự án điện mặt trời mới.
  2. Chi phí lưu trữ pin và nguồn điện dự phòng: Bởi vì chúng ta chỉ có công suất cao nhất khoảng 4 giờ mỗi ngày. Vì vậy, chúng ta cần sạc pin để sử dụng vào ban đêm.
  3. Chi phí của chính các pin mặt trời.

Vậy điều đó so sánh như thế nào với việc xây dựng một dự án điện mặt trời có quy mô tương tự trong không gian? Trong không gian:

  1. Chúng ta không cần phải trả tiền cho đất đã được cấp phép. Chi phí lớn nhất của bạn đã biến mất.
  2. Bạn không cần phải trả tiền cho lưu trữ pin và nguồn điện dự phòng vì chúng tôi có ánh nắng mặt trời 24/7. Chi phí lớn thứ hai của bạn đã biến mất.
  3. Bạn cần ít pin mặt trời hơn tám lần, vì 1 mét vuông tấm pin mặt trời trong không gian tạo ra năng lượng gấp tám lần so với 1 mét vuông tấm pin mặt trời trên Trái Đất.

Vì vậy, chi phí bổ sung duy nhất hoặc chi phí bổ sung chính mà chúng tôi có trong không gian là chi phí phóng.

[tiếng khịt mũi]

Điểm Hòa Vốn và Tầm Nhìn Về Chòm Vệ Tinh 88.000 Vệ Tinh

Bạn có thể thấy rõ ràng có một điểm hòa vốn khi chi phí phóng thấp hơn chi phí đất đã được cấp phép, pin và năng lượng mặt trời. Chúng tôi ước tính điểm hòa vốn đó vào khoảng 500 đô la mỗi kg. Tức là giảm khoảng 10 lần so với hiện tại. Nhưng điều đó nằm trong phạm vi của các phương tiện phóng sắp ra mắt. Để so sánh, Starship được thiết kế để có chi phí phóng khoảng 10 đến 20 đô la mỗi kg.

Và tôi nghĩ tôi sẽ kết thúc bằng cách chiếu cho bạn một video khái niệm cuối cùng. Video này cho thấy một chòm vệ tinh mà chúng tôi đang xây dựng. Chúng tôi vừa nộp hồ sơ lên SEC (Ủy ban Chứng khoán và Giao dịch Hoa Kỳ) cho một chòm vệ tinh gồm 88.000 vệ tinh. Mỗi vệ tinh khoảng 200 kilowatt. Nó sẽ cho phép chúng tôi triển khai khoảng 20 gigawatt tài nguyên tính toán mới. Thực sự chỉ là bắt đầu với chòm vệ tinh mới này. Và nó sẽ cho phép... về cơ bản là cho tất cả các khối lượng công việc suy luận.

Và điều này có thể là... vâng, có lẽ tôi sẽ bắt đầu video và bạn có thể hình dung được. Trong trường hợp này, nó để tạo video 3D, nhưng nó cũng có thể dùng cho các agent xử lý nghiệp vụ văn phòng, các agent tạo mã. Chúng sẽ kết nối thông qua liên kết quang học đến chòm vệ tinh này trong quỹ đạo đồng bộ mặt trời "bình minh-hoàng hôn" này. Điều đó có nghĩa là nó luôn nằm trong ánh nắng mặt trời, cấp điện 24/7. Độ trễ dưới 50 mili giây đến bất kỳ nơi nào trên Trái Đất. Tất cả đều được liên kết quang học.

[tiếng khịt mũi]

Và đây thực sự là sự khởi đầu của dự án cơ sở hạ tầng lớn nhất từ trước đến nay. Ý tôi là, chỉ riêng với chòm vệ tinh 88.000 vệ tinh này, chúng ta đang nói về một trăm tỷ đô la chi phí vốn, mà thực ra thấp hơn nhiều so với chi phí nếu thực hiện trên mặt đất. Và không chỉ là sự khởi đầu của dự án cơ sở hạ tầng lớn nhất, theo tôi, nó còn là sự khởi đầu của một nền văn minh cấp hai theo thang Kardashev kiểu Dyson sphere và có khả năng là cấp ba.

Tôi sẽ kết thúc ở đây và chúng ta có khoảng 4 phút cho các câu hỏi. Có câu hỏi nào không? Vâng, chúng ta sẽ bắt đầu từ phía trước. Vâng. Trực giác về tính sẵn có của năng lượng mặt trời thì rõ ràng rồi. Bạn có thể cho chúng tôi biết về phép tính sơ bộ về phương trình tản nhiệt một lần nữa không? Vì việc tản nhiệt, đối với bất kỳ ai đã từng nghĩ về nó, luôn cảm thấy khó khăn. Và xin hãy nói thêm về tính khả dụng của quỹ đạo "bình minh-hoàng hôn". Quỹ đạo đó có hữu hạn không? Vâng, vâng, vâng.

Giải Quyết Vấn Đề Tản Nhiệt Trong Chân Không

Đó là một câu hỏi tuyệt vời. Bởi vì không gian là chân không, thực sự khó hơn nhiều. Bạn biết đấy, không gian chỉ có 3 độ Kelvin. Vì vậy, nhiệt độ môi trường rất thấp. Nhưng vì nó là chân không, như bạn đã chỉ ra đúng, việc tản nhiệt thực sự khá khó khăn. Và điều nó yêu cầu là một diện tích bề mặt lớn để bạn có thể phát ra nhiệt ở dạng hồng ngoại. Vì vậy, mọi thứ ấm áp đều phát sáng bằng hồng ngoại mọi lúc. Nếu bạn có một camera hồng ngoại trên mặt tôi, bạn sẽ thấy tôi đang phát sáng.

Và phép tính sơ bộ về diện tích bề mặt này là các tấm pin mặt trời của bạn tạo ra khoảng 200 watt trên mỗi mét vuông, và bộ tản nhiệt, nếu bạn giữ nó khoảng 50 độ C, sẽ tản nhiệt khoảng 800 watt trên mỗi mét vuông. Điều đó có nghĩa là nếu bạn có một... bạn cần khoảng một phần tư diện tích bề mặt bổ sung cho bộ tản nhiệt so với tấm pin mặt trời của bạn. Vì vậy, nếu bạn có một tấm pin mặt trời 400 mét vuông, bạn sẽ cần thêm 100 mét vuông bộ tản nhiệt để tản nhiệt đó.

Có một phương trình rất hay gọi là phương trình Stefan-Boltzmann, về cơ bản nói rằng tốc độ tản nhiệt tỷ lệ thuận với lũy thừa bậc bốn của nhiệt độ. Vì vậy, nếu bạn có thể tăng nhiệt độ đó thay vì 50 độ lên 80 độ, tức là tăng khoảng 10% theo Kelvin, thì bạn thực sự có thể giảm một nửa diện tích bề mặt của bộ tản nhiệt hoặc gần một nửa. Và đó là điều chúng tôi đang làm việc với Nvidia hiện nay. Nếu ai đó đã tham dự GTC, bạn sẽ thấy Jensen bước ra để trình chiếu video triển khai Star Cloud 1 và sau đó ông ấy đã dành 5 phút nói về chip Ruben 1 không gian mới mà chúng tôi đang phát triển. Con chip này được thiết kế để chạy ở nhiệt độ cao hơn mà không có tỷ lệ lỗi cao hơn. Và lý do bạn muốn nó chạy ở nhiệt độ cao hơn là để bạn có thể giảm khối lượng của bộ tản nhiệt. Đó là một câu hỏi tuyệt vời. Vâng. Vâng.

Hội Chứng Kessler và Quản Lý Vệ Tinh

Được rồi. Hội chứng Kessler, điều được yêu thích, phải không? Bây giờ chúng ta sẽ có nhiều vệ tinh hơn, vẫn nhiều hơn trong quỹ đạo Kessler vì mọi người sẽ muốn... Điều gì sẽ xảy ra sau đó? Vâng, đó là một câu hỏi tuyệt vời và nó cũng liên quan đến câu hỏi về không gian trong không gian. Tôi nghĩ rằng đây là điều chúng tôi thực sự rất nghiêm túc. Bạn biết đấy, mọi người cần phải là người sử dụng không gian có trách nhiệm. Chúng tôi làm điều đó và mọi người khác cũng vậy. Chúng tôi rất muốn đảm bảo rằng không gian có thể sử dụng được mãi mãi.

Đối với vài vệ tinh đầu tiên, bạn có thể giải quyết nó theo một vài cách. Nếu bạn bay ở độ cao tương đối thấp, khả năng xảy ra hiệu ứng kiểu Kessler là cực kỳ thấp. Vì vậy, vệ tinh đầu tiên của chúng tôi đang bay ở độ cao khoảng 400 km. Điều đó có nghĩa là nó sẽ tự nhiên rời quỹ đạo trong vòng vài tháng. Và vì vậy, nếu bạn có một va chạm ở độ cao đó, vào thời điểm nó quay trở lại quỹ đạo tiếp theo, bạn đã ở vài trăm mét dưới nơi xảy ra va chạm và khả năng... vâng, khả năng xảy ra Hội chứng Kessler là rất, rất thấp.

Vâng, khi bạn bay cao hơn, những quỹ đạo cao đó thực sự không có nhiều người vì sau đó bạn bắt đầu đi vào vành đai bức xạ Van Allen. Nhưng ý tôi là, chúng tôi thực sự có một nghiên cứu điển hình khá tốt về điều này và đó là SpaceX hiện đang vận hành khoảng 10.000 vệ tinh mà chưa bao giờ có một va chạm nào trong quỹ đạo Trái Đất tầm thấp. Và cách bạn làm điều đó là bằng cách có khả năng tránh va chạm khá tinh vi.

Lý do khác mà tôi nghĩ mọi người nghĩ đây là một vấn đề lớn hơn so với thực tế, và lý do không gian lớn hơn rất nhiều so với những gì nó trông, là khi bạn nhìn vào bản đồ của tất cả những vệ tinh đó, mỗi chấm trên bản đồ đó có chiều rộng tương đương bang California và bạn đang thể hiện một thứ có thể rộng bằng cái này bằng một thứ có chiều rộng bằng bang California. Và vì vậy mọi người thường có thể nghĩ rằng không gian rất tắc nghẽn. Thực ra, chúng ta có thể dễ dàng chứa hàng terawatt tài nguyên tính toán chỉ trong quỹ đạo đồng bộ mặt trời "bình minh-hoàng hôn" này mà không gặp phải những vấn đề lớn về tránh va chạm.

Khả Năng Chịu Bức Xạ và Thử Nghiệm

Có câu hỏi nào khác không? Vâng. Bức xạ như lỗi bit, đó có phải là điều bạn thực sự phải nghĩ đến hoặc cân nhắc không? Điều đó ảnh hưởng đến mọi thứ như thế nào? Có, đó là điều tôi phải suy nghĩ. Cách chúng tôi giải quyết nó là thông qua một lượng lớn thử nghiệm trên mặt đất. Chúng tôi đã thực hiện bốn vòng thử nghiệm tại máy gia tốc hạt (cyclotron) ở Knoxville. Đó là một máy gia tốc hạt proton vận tốc cao. Và chúng tôi lấy tất cả dữ liệu đo từ xa đó và sau đó điều đó định hình lựa chọn của chúng tôi về che chắn. Sau đó, đối với ion nặng, chúng tôi phải đến Phòng thí nghiệm Quốc gia Brookhaven và về cơ bản chúng tôi chạy tất cả các chip qua môi trường không gian. Vì vậy, trong khoảng thời gian 24 giờ, bạn có thể cho nó trải qua 5 năm liều bức xạ, và sau đó chúng tôi lấy tất cả dữ liệu đó và sử dụng nó để định hình việc che chắn cũng như các lựa chọn phát triển phần mềm cho nó. Vâng. Vâng.

Tính Toán Suy Luận và Tầm Nhìn Trung Tâm Dữ Liệu 5 Gigawatt

Bạn có thực hiện tính toán liên tục hay bạn đang làm điều gì khác? Điều này gần như độc quyền, thực ra trong tương lai gần sẽ chỉ dành cho suy luận. Lý do nó dành cho suy luận là: thứ nhất, suy luận sẽ chiếm khoảng 99% thị trường tài nguyên tính toán rất sớm thôi. Vì vậy, ngay cả khi chúng ta... bạn biết đấy, chúng ta sẽ không muốn chạy một tập huấn luyện lớn... ừm, việc chạy các tập huấn luyện lớn sẽ là một tỷ lệ rất nhỏ trong tổng số khối lượng công việc AI trong 5 đến 10 năm tới. Nhưng thứ hai, điều đó rất khó. Chúng tôi sẽ cần một... vâng, chúng tôi cần ghép nối một cấu trúc lớn khoảng 5 gigawatt. Thực ra tôi có một video về điều đó ở đây, nhưng tôi sẽ không lãng phí thời gian của mọi người với nó.

[tiếng cười] Trừ khi [tiếng khịt mũi] ai đó muốn xem video về một trung tâm dữ liệu 5 gigawatt trong không gian. Các bạn có muốn xem không? Được rồi. [tiếng cười]

Chúng tôi đã làm video này vì chúng tôi không muốn mọi người nói, "Ồ, bạn không bao giờ có thể huấn luyện một mô hình trong không gian." Vì vậy, đây là hình ảnh một cấu trúc 5 gigawatt, 4 km x 4 km trong không gian sẽ trông như thế nào. Đây sẽ là một phương tiện phóng Starship với 40 megawatt là những gì bạn có thể lắp vừa trên mỗi phương tiện phóng Starship. Nó sẽ kết nối với một trục trung tâm, được kết nối với tấm pin mặt trời khổng lồ này. Phía sau đó, chúng ta có một bộ tản nhiệt 1 km x 4 km. Vâng, đó là cách bạn sẽ huấn luyện một mô hình lớn, nhưng như tôi đã nói, có lẽ phải ít nhất 15 năm nữa chúng ta mới đạt được điều gì đó như vậy.

Một câu nữa, tôi nghĩ chúng ta còn 40 giây. Hay chúng ta... Ồ, xin lỗi. Theo bạn, đến khi nào thì phần lớn các trung tâm dữ liệu sẽ ở trong không gian? Ồ, đó là một câu hỏi tuyệt vời. Và tôi thực sự muốn hỏi tất cả các bạn. Hãy cùng thực hiện một cuộc thăm dò ý kiến.

Thăm dò ý kiến về tài nguyên tính toán ngoài không gian

Vậy, câu hỏi tôi muốn đặt ra là: bạn nghĩ khi nào việc chạy tài nguyên tính toán trong không gian sẽ rẻ hơn cho bất kỳ ai? Có thể là cho SpaceX hoặc cho chúng ta. Và bốn lựa chọn trả lời sẽ là: trong 5 năm tới sẽ rẻ hơn; trong 5 đến 10 năm sẽ rẻ hơn; sau 10 năm; hoặc không bao giờ. Được rồi, vậy ai nghĩ rằng trong vòng 5 năm tới, việc chạy tài nguyên tính toán trong không gian sẽ rẻ hơn so với trên mặt đất? Thú vị. Ai nghĩ 5 đến 10 năm? Ai nghĩ sau 10 năm? Và ai nghĩ không bao giờ? Gan dạ. Được rồi, đó là một kết quả thú vị để tôi thấy.

Kết luận

Ừm, tôi... Vâng, tôi nghĩ chúng ta đã hết thời gian, vì vậy tôi sẽ dừng lại ở đây. Cảm ơn rất nhiều vì thời gian của quý vị. [tiếng vỗ tay]

Góp ý / Báo lỗiPhát hiện sai sót hoặc có ý tưởng cải thiện?