NộI Dung

• Các bước
• Lời khuyên
• Cảnh báo

Tìm kiếm một cỗ máy có khả năng thực hiện hàng trăm nghìn tỷ phép tính dấu phẩy động mỗi giây? Hay bạn chỉ muốn khoe khoang với bạn bè về chiếc siêu máy tính được gắn trong phòng của bạn? Xây dựng một cụm máy tính hiệu suất cao, hoặc một siêu máy tính, là một thách thức mà bất kỳ người đam mê nào có cuối tuần rảnh rỗi và một số tiền còn lại đều có thể cố gắng hoàn thành. Về mặt kỹ thuật, siêu máy tính đa xử lý là một mạng lưới các máy tính làm việc cùng nhau để giải quyết một vấn đề. Bài viết này sẽ mô tả ngắn gọn từng bước trong quy trình, tập trung vào phần cứng và phần mềm.

Các bước

1. 

   Xác định các thành phần và tài nguyên phần cứng cần thiết trước. Bạn sẽ cần một nút đầu, ít nhất 12 nút mạng giống nhau, một bộ chuyển mạch Ethernet, một bộ phân phối điện và một giá đỡ. Xác định nhu cầu về điện, làm mát và không gian cần thiết. Đồng thời quyết định địa chỉ IP nào bạn muốn cho các mạng riêng của mình, cách đặt tên cho các nút, gói phần mềm nào bạn muốn cài đặt và công nghệ nào sẽ được sử dụng để thực hiện tính toán song song (xem thêm ở phần sau).
   • Mặc dù phần cứng đắt tiền, nhưng tất cả các chương trình được liệt kê trong hướng dẫn đều miễn phí và hầu hết chúng đều là mã nguồn mở.
   • Nếu bạn muốn xem về lý thuyết, siêu máy tính của mình sẽ nhanh như thế nào, hãy sử dụng công cụ này: http://hpl-calculator.sourceforge.net/

2. 

   
   
   Tạo các nút. Bạn sẽ cần gắn các nút hoặc mua các máy chủ được lắp ráp sẵn.
   • Chọn khung máy chủ tối đa hóa không gian, làm mát và sử dụng điện năng.
   • Bạn cũng có thể sử dụng một số máy chủ đã lỗi thời - tổng chi phí của chúng sẽ lớn hơn tổng các bộ phận, nhưng bạn vẫn sẽ tiết kiệm được rất nhiều. Tất cả các bộ xử lý, bộ điều hợp mạng và bo mạch chủ phải giống hệt nhau để hệ thống hoạt động tốt. Rõ ràng, hãy đảm bảo bao gồm RAM và bộ nhớ trên mỗi nút và ít nhất một ổ đĩa quang cho nút đầu.

3. 

   
   
   Cài đặt các máy chủ trong giá đỡ. Bắt đầu từ dưới cùng, để trên cùng của nó không quá nặng. Bạn sẽ cần sự trợ giúp từ bạn bè của mình - máy chủ dày đặc có thể rất nặng và việc hướng dẫn họ theo dõi đường đi là rất khó.

4. 

   Cài đặt bộ chuyển mạch Ethernet phía trên khung máy chủ. Dành thời gian này để định cấu hình công tắc: bật kích thước khung jumbo là 9000 byte, đặt địa chỉ IP thành địa chỉ tĩnh được xác định ở bước đầu tiên và tắt các giao thức định tuyến không cần thiết, chẳng hạn như SMTP Snooping.

5. 

   
   
   Lắp đặt bộ phân phối điện. Tùy thuộc vào cường độ dòng điện mà các nút sẽ yêu cầu khi đầy tải, bạn có thể cần 220 volt để tính toán hiệu suất cao.

6. 

   Với mọi thứ đã được cài đặt, bạn có thể bắt đầu quá trình cấu hình. Linux là hệ điều hành lý tưởng cho các cụm HPC - không chỉ là môi trường lý tưởng cho tính toán khoa học, nó còn được cài đặt miễn phí trên hàng trăm hoặc thậm chí hàng nghìn nút. Hãy tưởng tượng sẽ tốn bao nhiêu để cài đặt Windows trên tất cả các nút này?
   • Bắt đầu bằng cách cài đặt phiên bản mới nhất của BIOS và phần sụn bo mạch chủ, phiên bản này phải giống nhau trên tất cả các nút.
   • Cài đặt phiên bản Linux yêu thích của bạn trên mỗi nút, với giao diện đồ họa trên nút đầu. Các tùy chọn phổ biến bao gồm CentOS, OpenSuse, Scientific Linux, RedHat và SLES.
   • Bạn cũng có thể sử dụng Rocks Cluster Distribution. Ngoài việc cài đặt tất cả các công cụ cần thiết để cụm hoạt động, Rocks sử dụng một phương pháp tuyệt vời để phân phối nhiều phiên bản của chính nó đến các nút rất nhanh chóng bằng cách sử dụng khởi động PXE và quy trình 'Kick Start' của Red Hat.

7. 

   Cài đặt giao diện nhắn tin, quản lý tài nguyên và các thư viện cần thiết khác. Nếu bạn không cài đặt Rocks ở bước trước, bạn sẽ cần phải cấu hình thủ công phần mềm cần thiết để kích hoạt các cơ chế tính toán song song.
   • Đầu tiên, bạn sẽ cần một hệ thống quản lý quy mô lớn di động, chẳng hạn như Trình quản lý tài nguyên mô-men xoắn, cho phép bạn chia nhỏ và phân phối các nhiệm vụ trên nhiều máy.
   • Ghép nối Mô-men xoắn với Bộ lập lịch cụm Maui để hoàn tất cài đặt.
   • Tiếp theo, bạn sẽ cần cài đặt giao diện truyền thông điệp, cần thiết cho các quá trình riêng lẻ của các nút khác nhau để chia sẻ cùng một dữ liệu. OpenMP rất dễ sử dụng.
   • Đừng quên các thư viện toán học đa luồng cho các chương trình tính toán song song. Nó thực sự dễ dàng hơn nếu bạn cài đặt Rocks.

8. 

   Kết nối các nút máy tính. Nút đầu gửi các nhiệm vụ đến các nút của máy tính, sau đó các nút này cần gửi lại kết quả, cũng như gửi các thông báo cho nhau. Càng nhanh càng tốt.
   • Sử dụng mạng ethernet riêng để kết nối tất cả các nút trong cụm.
   • Nút đầu cũng có thể hoạt động như một máy chủ NFS, PXE, DHCP, TFTP và NTP qua mạng Ethernet.
   • Bạn cần tách mạng này khỏi các mạng công cộng, điều này đảm bảo rằng các gói truyền tải sẽ không gây nhiễu cho các mạng khác trong mạng LAN của bạn.

9. 

   Kiểm tra cụm. Điều cuối cùng bạn muốn làm trước khi giải phóng tất cả sức mạnh tính toán đó cho người dùng là kiểm tra hiệu suất của họ. Điểm chuẩn HPL (High Performance Lynpack) là một lựa chọn phổ biến để đo tốc độ tính toán của cụm. Bạn sẽ cần phải biên dịch nó từ nguồn với tất cả các tối ưu hóa có thể được cung cấp bởi trình biên dịch cho kiến ​​trúc đã chọn.
   • Rõ ràng, bạn cần phải biên dịch từ nguồn với tất cả các tối ưu hóa có thể có cho nền tảng của mình. Ví dụ: khi sử dụng CPU AMD, hãy biên dịch với Open 64 với mức tối ưu hóa -0fast.
   • So sánh kết quả trên TOP500.org để so sánh cụm của bạn với 500 siêu máy tính nhanh nhất trên thế giới!

Lời khuyên

• IPMI có thể giúp quản lý một cụm lớn dễ dàng, cung cấp KVM-over-IP, rơle xử lý từ xa và hơn thế nữa.
• Để đạt được tốc độ mạng thực sự cao, hãy tìm giao diện mạng InfiniBand. Tuy nhiên, giá cả không phải là rất phải chăng.
• Sử dụng Ganglia để theo dõi tải tính toán trên các nút.

Cảnh báo

• Đảm bảo rằng cơ sở hạ tầng của bạn có thể xử lý tải áp đặt lên chúng.