Tổng quan về luận án

Luận án này tiên phong trong lĩnh vực lập trình song song bằng cách giải quyết thách thức cốt lõi về hiệu suất và công sức lập trình trong kỷ nguyên bộ xử lý đa lõi. Với hiệu suất bộ xử lý đơn luồng đang chững lại, kiến trúc đa lõi trở thành xu hướng chủ đạo. Tuy nhiên, việc khai thác song song từ các ứng dụng tuần tự truyền thống là một rào cản lớn, thường đòi hỏi công sức lập trình đáng kể để đảm bảo tính đúng đắn và hiệu suất. Luận án đặc biệt tập trung vào Thread-Level Speculation (TLS), một kỹ thuật cho phép thực thi song song các tác vụ gần như độc lập của một ứng dụng tuần tự, trong khi phần cứng tự động xử lý các phụ thuộc dữ liệu, duy trì ngữ nghĩa thực thi tuần tự. Cách tiếp cận này giúp lập trình viên chuyển trọng tâm từ tính đúng đắn sang hiệu suất, đơn giản hóa đáng kể quá trình lập trình song song thủ công.

Research gap cụ thể mà luận án giải quyết là sự thiếu hụt các nghiên cứu về lập trình song song thủ công sử dụng TLS để đạt được hiệu suất cao nhất có thể, vượt qua các giới hạn của các công cụ tự động. Mặc dù nhiều nghiên cứu trước đây [1][3][14][21][24] đã tập trung vào tự động hóa song song hóa hoặc sử dụng các cơ chế TLS phức tạp hơn, luận án này nhấn mạnh: "those projects primarily focus on developing methods to automatically parallelize applications. Instead, this dissertation investigates two other areas. First, I use manual parallelization, so that design modifications and programmer expertise can be utilized to yield higher parallel performance" (Chapter 1, page 14). Hơn nữa, luận án định vị mình để lấp đầy khoảng trống trong việc "explain precisely where in these important benchmarks TLP exists, how to extract it and how to overcome the obstacles to parallelization of each application" (Chapter 1, page 15) khi sử dụng TLS thủ công trên một kiến trúc chip đa bộ xử lý (CMP) có ghép nối lỏng lẻo và cơ chế TLS tương đối đơn giản.

Các câu hỏi nghiên cứu chính và giả thuyết được đề xuất bao gồm:

  1. RQ1: TLS có thể đơn giản hóa quá trình lập trình song song thủ công cho các ứng dụng phổ biến như thế nào, đặc biệt là các ứng dụng khó song song hóa tự động?
    • H1: Lập trình song song thủ công với TLS sẽ yêu cầu công sức lập trình thấp hơn đáng kể so với các phương pháp song song hóa thủ công không TLS, đồng thời giảm thiểu lỗi liên quan đến phụ thuộc dữ liệu.
  2. RQ2: Mức độ song song hóa (speedup) nào có thể đạt được cho các ứng dụng tổng quát bằng cách sử dụng TLS thủ công trên một kiến trúc CMP thực tế?
    • H2: Các ứng dụng SPEC CPU2000 sẽ đạt được tốc độ tăng đáng kể thông qua TLS thủ công, ngay cả trên các kiến trúc TLS đơn giản, cho thấy tiềm năng của TLS trong thiết kế CMP tương lai.
  3. RQ3: Các kỹ thuật chuyển đổi mã cụ thể nào là hiệu quả nhất để khai thác TLP tiềm ẩn trong các ứng dụng và tối ưu hóa hiệu suất TLS?
    • H3: Việc điều chỉnh mã thủ công, bao gồm tối ưu hóa cửa sổ vi phạm (violation window) và điều chỉnh thuật toán, sẽ đóng vai trò quan trọng trong việc đạt được speedup cao, đặc biệt cho các ứng dụng số nguyên.
  4. RQ4: Những giới hạn cố hữu nào của hệ thống TLS và ứng dụng ảnh hưởng đến khả năng khai thác TLP tối đa, và làm thế nào để giảm thiểu chúng?
    • H4: Các hiện tượng như silent stores và variability of load/store timing sẽ là các yếu tố giới hạn chính, và việc xác định chúng sẽ dẫn đến các hướng dẫn lập trình "TLS-friendly" cho lập trình viên đơn bộ xử lý.

Khung lý thuyết của luận án được xây dựng dựa trên lý thuyết về Instruction-Level Parallelism (ILP), Thread-Level Parallelism (TLP) và Speculative Execution. Luận án mở rộng các lý thuyết này bằng cách đưa ra mô hình thực nghiệm về cách TLS có thể được sử dụng để khai thác TLP fine-grained, đặc biệt là trong bối cảnh lập trình thủ công. Nó khám phá sự giao thoa giữa phần cứng và phần mềm, nơi "hardware support for parallel programming can be used to combat these limitations" của các phương pháp lập trình song song truyền thống (Chapter 1, page 2).

Đóng góp đột phá của luận án này có thể được định lượng và xác định rõ ràng. Thứ nhất, nó chứng minh rằng việc song song hóa TLS thủ công đạt được "an average 120% speedup on four floating point applications and 70% speedup on three integer applications" (Abstract, page iv) trong bộ SPEC CPU2000. Điều này được thực hiện với "only approximately 80 programmer hours and 150 lines of non-template code per application" (Abstract, page iv), định lượng rõ ràng công sức lập trình thấp và tác động hiệu suất đáng kể. Thứ hai, luận án cung cấp "guidelines that uniprocessor programmers could easily follow that would allow for more rapid and high performance porting of uniprocessor applications to TLS platforms in the future" (Chapter 1, page 18), trực tiếp tác động đến thực tiễn phát triển phần mềm. Cuối cùng, luận án đưa ra khái niệm mới về "temporally silent stores" (Chapter 2, page 37), mở rộng hiểu biết về các yếu tố giới hạn hiệu suất TLS vượt ra ngoài các "silent stores" đã được biết đến [20], đóng góp vào lý thuyết tối ưu hóa kiến trúc bộ xử lý.

Phạm vi nghiên cứu bao gồm việc phân tích và song song hóa bảy ứng dụng từ bộ chuẩn SPEC CPU2000 (bốn ứng dụng dấu phẩy động viết bằng C và ba ứng dụng số nguyên), sử dụng một bộ mô phỏng kiến trúc Hydra chip multiprocessor (Chapter 1, page 19). Nghiên cứu được thực hiện với một "sampling strategy" (Chapter 1, page 21) tinh vi để đảm bảo tính đại diện của kết quả, tránh những sai lệch từ các bộ dữ liệu huấn luyện hoặc kiểm tra nhỏ hơn. Tầm quan trọng của nghiên cứu nằm ở việc định hình tương lai của thiết kế CMP và lập trình song song, cung cấp bằng chứng thực nghiệm về hiệu quả của TLS và đề xuất các phương pháp để các ứng dụng hiện có có thể khai thác sức mạnh của phần cứng đa lõi một cách hiệu quả hơn.

Literature Review và Positioning

Tổng hợp các luồng nghiên cứu chính cho thấy một bức tranh phức tạp về khai thác song song. Ban đầu, trọng tâm là Instruction-Level Parallelism (ILP), được giải quyết hiệu quả bằng các kỹ thuật như superscalarity, instruction reordering, register renaming và branch prediction, chủ yếu thông qua phần cứng chuyên dụng. Tuy nhiên, việc chuyển sang Thread-Level Parallelism (TLP) cấp cao hơn đã làm lộ ra những thách thức đáng kể về mặt lập trình và kiến trúc. Các nghiên cứu ban đầu về song song hóa tự động, như SUIF [10] và Polaris [3], đã thành công với các ứng dụng khoa học, dấu phẩy động có cấu trúc dữ liệu đều đặn (như các ứng dụng Fortran). Tuy nhiên, những công cụ này thường gặp khó khăn với các ứng dụng có luồng điều khiển không đều, sử dụng cấu trúc dữ liệu phức tạp như heaps hoặc stacks, hoặc có các phụ thuộc dữ liệu khó đoán định.

Các mâu thuẫn và tranh luận chính xoay quanh khả năng tự động hóa việc khai thác TLP và mức độ can thiệp của lập trình viên. Một quan điểm, ủng hộ bởi các dự án như SUIF [10] và Polaris [3], cho rằng các trình biên dịch song song hóa tiên tiến có thể tự động xác định và khai thác TLP thông qua phân tích tĩnh và hồ sơ động. Ví dụ, Kwon, Han và Kim [15] đã mô tả một backend MPI cho SUIF. Ngược lại, quan điểm khác, mà luận án này định vị mình vào, lập luận rằng "the complexity of the dependences and the many ways in which the sequential instruction stream could be divided into parallel streams makes this too difficult to automate for many, if not most, common applications" (Chapter 1, page 8). Quan điểm này được củng cố bởi nhận định rằng các ứng dụng số nguyên đặc biệt khó song song hóa tự động do "frequent branches that are difficult to predict and by execution of relatively little computation in a regular way on large, dense matrices" (Chapter 1, page 9).

Luận án này định vị mình trong tài liệu hiện có bằng cách tập trung vào việc lập trình song song thủ công với hỗ trợ phần cứng TLS, một lĩnh vực ít được khám phá hơn so với tự động hóa. Trong khi nhiều nghiên cứu [1][3][14][21][24] tập trung vào phát triển các phương pháp tự động song song hóa ứng dụng, luận án này "investigates two other areas. First, I use manual parallelization, so that design modifications and programmer expertise can be utilized to yield higher parallel performance" (Chapter 1, page 14). Mục tiêu không phải là thay thế các công cụ tự động, mà là "provide guidance for the future development of such tools" (Abstract, page iv) bằng cách chứng minh "what important research issues remain unaddressed, and how this thesis contributes knowledge in these areas" (Chapter 1, page 3).

Nghiên cứu này thúc đẩy lĩnh vực này bằng cách:

  1. Nâng cao hiểu biết về giới hạn hiệu suất của TLS: Bằng cách sử dụng song song hóa thủ công, luận án "approaches the upper bounds of the parallelism that can be extracted from these applications when using a loosely-coupled chip multiprocessor with a fairly simple TLS mechanism" (Chapter 1, page 14), giúp xác định giới hạn thực tế của TLS mà không bị che khuất bởi hạn chế của trình biên dịch tự động.
  2. Cung cấp hướng dẫn lập trình thực tế: "This research clearly demonstrates the simplicity of manual parallelization with TLS versus without it, and provides evidence of the performance advantages of the optimistic, dynamically determined synchronization of TLS versus the pessimistic, statically-determined conventional synchronization" (Chapter 1, page 17).
  3. Khám phá các kỹ thuật tối ưu hóa mới: Luận án "explores predictions of values that evolve in a more complex manner" (Chapter 1, page 16), mở rộng các nghiên cứu dự đoán giá trị trước đó [5][7][9][20][25][32] vốn chỉ tập trung vào các giá trị không đổi hoặc thay đổi đơn giản.

So sánh với ít nhất hai nghiên cứu quốc tế khác, luận án này cho thấy sự khác biệt rõ rệt. Đội ngũ Wisconsin Multiscalar [25][37] cũng đạt được tốc độ tăng đáng kể trên các ứng dụng tổng quát, bao gồm cả các ứng dụng số nguyên. Tuy nhiên, nghiên cứu của họ khám phá một không gian thiết kế phần cứng/phần mềm khác, thường sử dụng các luồng có độ chi tiết mịn hơn và cho phép giao tiếp register-to-register giữa các bộ xử lý, điều này đòi hỏi phần cứng phức tạp và tốc độ cao hơn. Ngược lại, luận án này sử dụng một kiến trúc "loosely coupled (L2-cache-connected) CMP that supports only fairly simple TLS" (Chapter 1, page 14). Tương tự, nghiên cứu của đội CMU STAMPede [32][33][35] và tại Đại học Illinois Urbana-Champaign [6][7][36] cũng khám phá các điểm thiết kế khác nhau với các bộ xử lý ít ghép nối chặt chẽ hơn, nhưng thường tập trung vào các lược đồ dựa trên phần mềm hoặc hỗ trợ phần cứng cụ thể cho các chuyển đổi mã nhất định (ví dụ: phần cứng cho giảm song song hoặc cam kết không chặn trạng thái suy đoán). Luận án này khác biệt bằng cách tập trung vào "manual parallelization, without regard to the ability to automate the techniques I have utilized" (Chapter 1, page 15) và thực hiện trên các ứng dụng cả dấu phẩy động và số nguyên viết bằng C, trong khi nhiều nghiên cứu trước đây [6][30][33][36] chủ yếu tập trung vào các ứng dụng Fortran chuyên sâu về dấu phẩy động.

Đóng góp lý thuyết và khung phân tích

Đóng góp cho lý thuyết

Luận án này đóng góp đáng kể vào các lý thuyết hiện có về thực thi song song và kiến trúc máy tính. Nó mở rộng và thử thách các giả định trong lý thuyết Thread-Level Parallelism (TLP) và Speculative Execution. Đặc biệt, nó thách thức quan niệm rằng TLP fine-grained không thể được khai thác hiệu quả hoặc chỉ có thể thông qua tự động hóa phức tạp. Luận án chứng minh rằng "fine-grain, thread-level parallelism with hardware in ways that are largely transparent to the programmer" (Chapter 1, page 2) là khả thi và hiệu quả thông qua TLS thủ công. Nó mở rộng công trình của Lam và Wilson [18] về sự tồn tại của song song hóa lớn trong các ứng dụng và tầm quan trọng của việc giảm thiểu phụ thuộc luồng điều khiển bằng suy đoán.

Luận án cũng mở rộng lý thuyết về Value Prediction [5][7][9][20][25][32] bằng cách khám phá "predictions of values that evolve in a more complex manner" (Chapter 1, page 16) thay vì chỉ các giá trị không đổi hoặc thay đổi đơn giản theo bước nhảy. Điều này mở ra một hướng mới trong việc tối ưu hóa hiệu suất TLS thông qua dự đoán giá trị tiên tiến hơn.

Khung khái niệm của luận án bao gồm các thành phần chính:

  1. Thread-Level Speculation (TLS): Một cơ chế phần cứng/phần mềm cho phép thực thi song song các luồng suy đoán từ một ứng dụng tuần tự, trong khi đảm bảo ngữ nghĩa thực thi tuần tự thông qua phát hiện và sửa lỗi phụ thuộc dữ liệu động.
  2. Manual Parallelization: Việc lập trình viên tự tay chuyển đổi mã nguồn để khai thác TLP, tận dụng chuyên môn miền và vượt qua giới hạn của các công cụ tự động.
  3. Performance Limiters: Các yếu tố cản trở việc đạt được speedup tuyến tính trong hệ thống TLS thực tế, bao gồm "violation window," "variability of load and store timing," "silent stores" và khái niệm mới "temporally silent stores."

Mô hình lý thuyết được đề xuất thông qua các giả định và các nghiên cứu thực nghiệm. Các giả thuyết đã được đánh số ở phần tổng quan thể hiện các mệnh đề chính của mô hình. Mô hình này giả định rằng với các can thiệp thủ công chiến lược, ngay cả các ứng dụng có TLP khó khai thác cũng có thể đạt được hiệu suất song song đáng kể. Nó cho thấy một sự thay đổi mô hình nhỏ từ "tự động hóa hoàn toàn là tối ưu" sang "tối ưu hóa thủ công có thông tin là chìa khóa để đạt được hiệu suất cao nhất," đặc biệt cho các ứng dụng kế thừa (legacy applications) và các kịch bản khó.

Khung phân tích độc đáo

Khung phân tích của luận án tích hợp các yếu tố từ Computer Architecture, Compiler Optimization và Software Engineering. Nó kết hợp sâu sắc các lý thuyết về Data Dependence Analysis (đặc biệt là các phụ thuộc read-after-write, write-after-read, write-after-write), Performance Modeling (liên quan đến overheads, critical path và load balancing) và Program Transformation (các kỹ thuật chuyển đổi mã nguồn để lộ TLP).

Một cách tiếp cận phân tích mới lạ là việc phân tích hiệu suất không chỉ dựa trên speedup tổng thể mà còn dựa trên "violation window" và "temporally silent stores." Khái niệm "violation window" được định nghĩa là "the path of computation from exposed read to final update of the same memory location" (Chapter 2, page 35). Việc giảm thiểu kích thước và đặt các cửa sổ này ở vị trí tối ưu trong luồng thực thi là chìa khóa để giảm tỷ lệ vi phạm và tăng hiệu suất. Khái niệm "temporally silent stores" được giới thiệu để mô tả các trường hợp "a value does change during stores, but eventually returns to the same value it had at a previous time" (Chapter 2, page 37), điều mà các kiến trúc TLS hiện tại không xử lý được, gây ra các vi phạm không cần thiết.

Các đóng góp khái niệm cụ thể bao gồm:

  • Violation Window: Định nghĩa lại tầm quan trọng của vị trí và thời gian của các lần đọc và ghi trong một luồng suy đoán đối với hiệu suất song song.
  • Temporally Silent Stores: Khái niệm mới này làm nổi bật một loại hành vi bộ nhớ chưa được khám phá mà nếu được xử lý, có thể cải thiện đáng kể hiệu suất TLS.
  • TLS-Friendly Uniprocessor Programming: Một tập hợp các hướng dẫn mới được tạo ra từ kinh nghiệm thực nghiệm, cho phép các lập trình viên ban đầu thiết kế các ứng dụng dễ dàng song song hóa hơn bằng TLS sau này.

Các điều kiện biên được nêu rõ ràng. Nghiên cứu tập trung vào các hệ thống "loosely-coupled chip multiprocessor with a fairly simple TLS mechanism" (Chapter 1, page 14), cụ thể là kiến trúc Hydra chip multiprocessor (Chapter 1, page 19). TLS implementation được sử dụng là "non-reentrant, loop-only speculation" (Chapter 2, page 32). Các phát hiện chủ yếu áp dụng cho các ứng dụng tổng quát, đặc biệt là các ứng dụng SPEC CPU2000 viết bằng C. Điều này có nghĩa là các kết luận có thể không trực tiếp chuyển giao cho các kiến trúc TLS phức tạp hơn, các loại ứng dụng khác (ví dụ: Fortran khoa học) hoặc các hình thức song song hóa khác (ví dụ: MPI chặt chẽ).

Phương pháp nghiên cứu tiên tiến

Thiết kế nghiên cứu

Thiết kế nghiên cứu của luận án này mang tính thực nghiệm và định hướng hiệu suất, dựa trên triết lý nghiên cứu Positivism với một khuynh hướng Post-Positivism. Nó tìm cách khám phá các mối quan hệ nhân quả giữa các chuyển đổi mã, công nghệ TLS và hiệu suất ứng dụng thông qua các phép đo định lượng khách quan. Bằng cách tập trung vào "performance gains that can be expected by utilizing fine-grained thread-level speculation" (Chapter 1, page 2), luận án tuân thủ nguyên tắc đo lường và xác minh các giả thuyết.

Thiết kế này sử dụng phương pháp Mixed Methods một cách ngầm định, bắt đầu với một "very small applications with a simplified hardware simulator, in order to get insight into the characteristics of the applications" (Chapter 1, page 18-19), sau đó chuyển sang "more complex analyses and applications were studied to understand how non-idealities such as memory delay and speculation overheads impact the ability to extract thread-level parallelism (TLP) from real-world applications" (Chapter 1, page 19). Sự kết hợp này cho phép cả việc kiểm soát các biến số trong môi trường vi mô và đánh giá tính thực tế trong các kịch bản ứng dụng toàn diện.

Mặc dù không phải là thiết kế đa cấp truyền thống, nghiên cứu này bao gồm các cấp độ phân tích khác nhau: cấp độ hướng dẫn (instruction-level) để hiểu các phụ thuộc dữ liệu, cấp độ luồng (thread-level) để song song hóa các khối mã và cấp độ ứng dụng (application-level) để đánh giá hiệu suất tổng thể. Các cấp độ này được định nghĩa rõ ràng thông qua việc song song hóa "loop-only TLS" (Chapter 2, page 32), nơi mỗi lần lặp vòng lặp tạo thành một luồng, và việc phân tích "violation window" bên trong mỗi luồng.

Kích thước mẫu bao gồm bảy ứng dụng từ bộ chuẩn SPEC CPU2000: bốn ứng dụng dấu phẩy động viết bằng C và ba ứng dụng số nguyên. Tiêu chí lựa chọn mẫu rất cụ thể: "the most difficult floating point applications to parallelize and the most easily parallelizable integer applications were selected for this research" (Chapter 1, page 21). Việc lựa chọn này là chiến lược, nhằm khám phá các giới hạn của TLS đối với các kịch bản khó khăn hơn cho dấu phẩy động và để chứng minh tính khả thi của nó đối với các ứng dụng số nguyên.

Quy trình nghiên cứu rigorous

Chiến lược lấy mẫu được thiết kế để đảm bảo tính đại diện và tránh sai lệch. Thay vì sử dụng các bộ dữ liệu "test or the training data sets can give misleading results" (Chapter 1, page 21), nghiên cứu sử dụng các bộ dữ liệu tham chiếu (reference data sets) kích thước đầy đủ. Do thời gian mô phỏng dài, "segments of execution should be chosen at several spots throughout the full execution, and together, or better yet singly, these segments should have a pattern of execution that closely approximates the behavior of the entire execution" (Chapter 1, page 21-22). Điều này đảm bảo rằng các kết quả hiệu suất không bị lệch bởi các hành vi cục bộ.

Các giao thức thu thập dữ liệu bao gồm việc sử dụng bộ mô phỏng kiến trúc Hydra chip multiprocessor (Chapter 1, page 19). Bộ mô phỏng này được thiết lập để hỗ trợ TLS đơn giản, "non-reentrant, loop-only speculation" (Chapter 2, page 32). Các công cụ được sử dụng để đo lường speedup, số giờ lập trình viên và số dòng mã được thêm vào. Ví dụ, công sức lập trình viên được định lượng là "approximately 80 programmer hours and 150 lines of non-template code per application" (Abstract, page iv).

Luận án thực hiện triangulation phương pháp bằng cách kết hợp phân tích vi kiến trúc thông qua mô phỏng phần cứng với phân tích mã nguồn thủ công và tối ưu hóa thuật toán. Điều này cho phép kiểm tra chéo các phát hiện và đảm bảo tính mạnh mẽ của kết luận.

Tính hợp lệ và độ tin cậy được đảm bảo thông qua:

  • Construct Validity: Các khái niệm như "violation window" và "temporally silent stores" được định nghĩa rõ ràng và đo lường nhất quán trong bối cảnh kiến trúc TLS.
  • Internal Validity: Các biến nhiễu được kiểm soát bằng cách sử dụng một nền tảng phần cứng mô phỏng duy nhất (Hydra CMP) và các giao thức lấy mẫu nghiêm ngặt.
  • External Validity: Bằng cách sử dụng các ứng dụng SPEC CPU2000 rộng rãi và các bộ dữ liệu tham chiếu, luận án tìm cách tăng khả năng tổng quát hóa các phát hiện của mình cho một phạm vi rộng hơn các ứng dụng tổng quát và thiết kế CMP tương tự.
  • Reliability: Quy trình song song hóa thủ công được ghi lại chi tiết trong các Chương 3 và 4, cho phép người khác tái tạo các chuyển đổi mã và đánh giá công sức lập trình. Giá trị alpha (α values) không được đề cập trực tiếp trong đoạn văn bản cung cấp, nhưng sự nhấn mạnh vào "rigorous" và "accurate" (Chapter 1, page 18, 21) các phép đo gợi ý một sự cam kết về độ tin cậy thống kê.

Data và phân tích

Đặc điểm mẫu được mô tả bao gồm: "four floating point applications and three integer applications" từ SPEC CPU2000 (Abstract, page iv). Các ứng dụng này được "all written in C" (Chapter 1, page 16). Các thống kê cụ thể về đặc điểm của mẫu như kích thước mã nguồn được cung cấp trong Bảng 4-2 (Chapter 4, page 84).

Các kỹ thuật phân tích tiên tiến không được mô tả chi tiết trong đoạn văn bản cung cấp, nhưng ngụ ý thông qua việc tập trung vào "statistical significance (p-values, effect sizes)" ở phần "Phát hiện đột phá". Việc sử dụng mô phỏng kiến trúc (Hydra CMP) cho thấy việc phân tích hiệu suất được thực hiện ở cấp độ chi tiết rất cao, bao gồm các yếu tố như "memory delay and speculation overheads" (Chapter 1, page 19). Phần mềm mô phỏng cụ thể không được nêu rõ ngoài việc nhắc đến "Hydra chip multiprocessor" và "a well-supported simulator infrastructure" (Chapter 1, page 19).

Kiểm tra độ mạnh mẽ (robustness checks) được thực hiện bằng cách đánh giá "Speedup resulting from each additional transformation" (Table 4-4, Chapter 4, page 88) và "Whole application speedups under various memory and TLS models" (Figure 4-3, Chapter 4, page 103). Điều này cho phép đánh giá tác động riêng biệt của từng tối ưu hóa và đảm bảo rằng speedup không chỉ do một yếu tố duy nhất. Effect sizes và confidence intervals không được báo cáo trực tiếp trong các đoạn trích dẫn, nhưng ý định về các phép đo định lượng chi tiết đã được nêu rõ.

Phát hiện đột phá và implications

Những phát hiện then chốt

Luận án này đưa ra nhiều phát hiện then chốt, được hỗ trợ bởi bằng chứng thực nghiệm từ dữ liệu mô phỏng:

  1. Hiệu suất song song đáng kể với công sức lập trình khiêm tốn: Song song hóa TLS thủ công đạt được "an average 120% speedup on four floating point applications and 70% speedup on three integer applications" (Abstract, page iv) trong bộ SPEC CPU2000. Điều này chỉ yêu cầu "approximately 80 programmer hours and 150 lines of non-template code per application" (Abstract, page iv). Điều này chứng minh tính khả thi và hiệu quả của TLS thủ công, đặc biệt đối với các ứng dụng số nguyên mà các công cụ tự động thường gặp khó khăn.
  2. Tầm quan trọng của các kỹ thuật thủ công tiên tiến: "Using advanced manual techniques is essential to effectively parallelize integer benchmarks" (Abstract, page iv). Luận án mô tả chi tiết "how and where parallelism was located, the impediments to extracting it using TLS, and the code transformations that were required to overcome these impediments" (Abstract, page iv). Ví dụ, việc điều chỉnh vị trí của các lần ghi và đọc trong các lần lặp kế tiếp có thể "reduces the critical path on that variable to its minimum and thereby increases the parallelism available" (Chapter 2, page 34), là một kỹ thuật thủ công quan trọng.
  3. Sự tồn tại của các phụ thuộc khó đoán định: Phát hiện ra rằng các phụ thuộc có thể bị "obscured by the programmer's choice of an algorithm with low TLP" (Chapter 1, page 10), chẳng hạn như việc sử dụng đệ quy thay vì lặp, làm cho việc song song hóa trở nên khó khăn.
  4. Giới thiệu khái niệm "Temporally Silent Stores": Luận án phát hiện ra một loại vấn đề hiệu suất mới, nơi "a value does change during stores, but eventually returns to the same value it had at a previous time" (Chapter 2, page 37). Hiện tượng này gây ra các vi phạm không cần thiết trong các kiến trúc TLS hiện tại, và là một phát hiện chưa từng được thảo luận trong các ấn phẩm trước đây [20].
  5. Ưu điểm của TLS so với đồng bộ hóa truyền thống: "The simplicity of manual parallelization with TLS versus without it, and provides evidence of the performance advantages of the optimistic, dynamically determined synchronization of TLS versus the pessimistic, statically-determined conventional synchronization, which uses locks or barriers, for example" (Chapter 1, page 17).

Các kết quả thống kê như p-values và effect sizes không được liệt kê trực tiếp trong bản tóm tắt và giới thiệu được cung cấp, nhưng các phát hiện về speedup trung bình 120% và 70% là bằng chứng định lượng chính. Các kết quả có thể đi ngược lại trực giác là việc TLS có thể đạt được hiệu suất tốt cho các ứng dụng số nguyên, vốn nổi tiếng là khó song song hóa. Luận án giải thích rằng điều này là do khả năng của TLS trong việc xử lý các phụ thuộc động và giảm gánh nặng đồng bộ hóa khỏi lập trình viên.

So sánh với các nghiên cứu trước, luận án này vượt qua các trình biên dịch song song hóa tự động như SUIF [10] và Polaris [3] cho các ứng dụng số nguyên khó song song hóa. Nó cũng cung cấp một giới hạn trên về hiệu suất cho các hệ thống TLS đơn giản, khác với các nghiên cứu của Wisconsin Multiscalar [25][37] sử dụng phần cứng phức tạp hơn.

Implications đa chiều

  1. Thúc đẩy lý thuyết: Luận án đóng góp vào hai lý thuyết chính. Nó mở rộng lý thuyết về Thread-Level Parallelism (TLP) bằng cách chứng minh hiệu quả của việc khai thác TLP fine-grained thủ công với TLS. Nó cũng mở rộng lý thuyết về Value Prediction bằng cách khám phá "predictions of values that evolve in a more complex manner" (Chapter 1, page 16), vượt ra ngoài các mô hình dự đoán giá trị đơn giản hơn.
  2. Đổi mới phương pháp luận: Phương pháp song song hóa thủ công, kết hợp với phân tích chi tiết "violation window" và "temporally silent stores," có thể được áp dụng trong các bối cảnh khác để tối ưu hóa hiệu suất song song. Phương pháp lấy mẫu tinh vi của luận án cũng là một đổi mới có thể áp dụng cho các nghiên cứu mô phỏng khác với các bộ dữ liệu lớn.
  3. Ứng dụng thực tiễn: Luận án cung cấp "programming guidelines that uniprocessor programmers could easily follow that would allow for more rapid and high performance porting of uniprocessor applications to TLS platforms in the future" (Chapter 1, page 18). Điều này có ý nghĩa trực tiếp đối với các nhà phát triển phần mềm đang tìm cách hiện đại hóa các ứng dụng kế thừa cho kiến trúc đa lõi. Các khuyến nghị bao gồm việc điều chỉnh thuật toán và cấu trúc dữ liệu để làm cho chúng "TLS-friendly."
  4. Khuyến nghị chính sách: Các phát hiện ủng hộ việc "inclusion of TLS in future chip multiprocessor designs" (Abstract, page iv). Các nhà sản xuất chip (ví dụ: Intel, AMD, ARM) nên xem xét tích hợp các cơ chế TLS cơ bản nhưng hiệu quả vào các thiết kế CMP của họ. Lộ trình triển khai có thể bao gồm việc cung cấp các API cấp thấp hoặc hỗ trợ trình biên dịch để tạo điều kiện cho các chuyển đổi mã TLS thủ công hoặc bán tự động.
  5. Điều kiện tổng quát hóa: Các kết luận chủ yếu có thể tổng quát hóa cho các ứng dụng tổng quát, đặc biệt là các ứng dụng hệ thống và số nguyên. Tuy nhiên, chúng được đưa ra với điều kiện là kiến trúc phần cứng hỗ trợ TLS phải có cơ chế đủ mạnh để phát hiện và sửa lỗi phụ thuộc. Các phát hiện về "low programmer effort" cũng có thể tổng quát hóa, đặc biệt cho các ứng dụng kế thừa mà lập trình viên có thể không có kiến thức sâu sắc về thuật toán gốc.

Limitations và Future Research

Luận án thừa nhận một số hạn chế cụ thể. Thứ nhất, việc sử dụng "non-reentrant, loop-only speculation" (Chapter 2, page 32) làm hạn chế khả năng khai thác TLP trong các tình huống đệ quy hoặc các vòng lặp lồng nhau sâu, nơi các hình thức suy đoán phức tạp hơn (multi-level speculation) có thể cần thiết. Thứ hai, mặc dù đã cố gắng chọn các ứng dụng đại diện, việc giới hạn ở bảy ứng dụng SPEC CPU2000 (bốn dấu phẩy động C, ba số nguyên C) có nghĩa là các phát hiện có thể không hoàn toàn tổng quát hóa cho tất cả các loại ứng dụng hoặc ngôn ngữ lập trình khác (ví dụ: Fortran). Thứ ba, nghiên cứu không đi sâu vào việc hiểu thuật toán gốc của ứng dụng (Chapter 1, page 23), điều này có thể bỏ lỡ một số cơ hội tối ưu hóa sâu hơn nếu có sự hiểu biết đầy đủ về miền vấn đề. Cuối cùng, nghiên cứu này dựa trên kết quả mô phỏng trên nền tảng Hydra chip multiprocessor (Chapter 1, page 19) chứ không phải phần cứng thực tế, điều này có thể dẫn đến sự khác biệt giữa hiệu suất mô phỏng và hiệu suất thực tế.

Các điều kiện biên về ngữ cảnh, mẫu và thời gian cũng được ghi nhận. Nghiên cứu chủ yếu tập trung vào các kiến trúc CMP với TLS ghép nối lỏng lẻo, và các kết quả có thể khác biệt đáng kể trên các hệ thống ghép nối chặt chẽ hơn hoặc các hệ thống không có hỗ trợ TLS. Phạm vi thời gian của nghiên cứu được định vị trong bối cảnh các bộ xử lý đơn luồng đang chững lại vào khoảng năm 2005.

Chương trình nghiên cứu trong tương lai được đề xuất bao gồm 4-5 hướng cụ thể:

  1. Tự động hóa các kỹ thuật song song hóa thủ công: "See if some of these new parallelization techniques I have developed can be automated and also if improvements can be made to automated thread selection algorithms" (Chapter 1, page 15). Điều này liên quan đến việc phát triển các trình biên dịch thông minh hơn có thể nhận dạng các "violation window" và "temporally silent stores" để tự động tối ưu hóa mã.
  2. Khám phá "Temporally Silent Stores" trong kiến trúc TLS: Nghiên cứu sâu hơn về cách phát hiện và xử lý "temporally silent stores" trong phần cứng TLS để loại bỏ các vi phạm không cần thiết và cải thiện hiệu suất.
  3. TLS cho các mô hình song song hóa phức tạp hơn: Mở rộng nghiên cứu sang các hình thức suy đoán phức tạp hơn, chẳng hạn như "re-entrant or multi-level speculation" (Chapter 2, page 32), để khai thác TLP từ các vòng lặp lồng nhau hoặc đệ quy.
  4. Đánh giá tác động của TLS trên các bộ dữ liệu và ứng dụng rộng hơn: Thực hiện các nghiên cứu tương tự trên một phạm vi rộng hơn các ứng dụng ngoài SPEC CPU2000 và với các bộ dữ liệu đa dạng hơn để kiểm tra tính tổng quát của các phát hiện.
  5. Phát triển các công cụ hỗ trợ lập trình viên TLS: Tạo ra các công cụ phân tích và gỡ lỗi chuyên dụng để giúp lập trình viên dễ dàng xác định và tối ưu hóa các điểm tắc nghẽn liên quan đến TLS.

Các cải tiến phương pháp luận được đề xuất bao gồm việc phát triển các mô hình mô phỏng chi tiết hơn hoặc các nền tảng phần cứng thực tế để xác minh các phát hiện. Mở rộng lý thuyết bao gồm việc tích hợp các mô hình dự đoán giá trị phức tạp hơn vào khung TLS và phát triển lý thuyết chính thức về "violation window" và "temporally silent stores."

Tác động và ảnh hưởng

Tác động của luận án này là sâu rộng và đa chiều.

  • Tác động học thuật: Luận án có tiềm năng tạo ra tác động đáng kể trong cộng đồng nghiên cứu kiến trúc máy tính và lập trình song song. Với những đóng góp độc đáo về song song hóa TLS thủ công, tối ưu hóa hiệu suất và các khái niệm mới như "temporally silent stores," luận án này có thể được trích dẫn rộng rãi bởi các nhà nghiên cứu làm việc trong lĩnh vực TLS, CMP, và tối ưu hóa trình biên dịch. Ước tính có thể đạt được hàng trăm trích dẫn trong thập kỷ tới, đặc biệt là khi các nhà sản xuất chip tiếp tục chuyển sang các thiết kế đa lõi và tìm kiếm các giải pháp khai thác song song hiệu quả.
  • Chuyển đổi ngành công nghiệp: Ngành công nghiệp bán dẫn và phát triển phần mềm có thể chứng kiến sự chuyển đổi thông qua việc áp dụng các nguyên tắc và hướng dẫn của luận án này. Cụ thể, các nhà sản xuất chip (ví dụ: Intel, AMD, IBM) có thể được khuyến khích tích hợp các cơ chế TLS đơn giản nhưng hiệu quả vào các thiết kế chip multiprocessor (CMPs) tương lai, giảm gánh nặng đồng bộ hóa khỏi lập trình viên. Các nhà phát triển phần mềm trong các lĩnh vực như xử lý giao dịch trực tuyến (OLTP), hệ thống hỗ trợ quyết định (DSS) và các ứng dụng đa phương tiện có thể sử dụng các kỹ thuật chuyển đổi mã và hướng dẫn lập trình "TLS-friendly" để dễ dàng port các ứng dụng kế thừa lên các nền tảng đa lõi, nâng cao hiệu suất mà không cần viết lại toàn bộ mã nguồn.
  • Ảnh hưởng chính sách: Luận án có thể ảnh hưởng đến các tiêu chuẩn ngành và chính sách phát triển. Bằng cách chứng minh tính khả thi của TLS cho các ứng dụng tổng quát, luận án có thể thúc đẩy các cơ quan tiêu chuẩn hóa hoặc các nhóm phát triển đưa TLS vào các đặc tả kiến trúc hoặc API lập trình song song trong tương lai. Ví dụ, nó có thể ảnh hưởng đến các phương pháp mà các công ty sản xuất phần mềm lớn xem xét để phát triển các ứng dụng hiệu suất cao.
  • Lợi ích xã hội: Mặc dù không trực tiếp định lượng được bằng số liệu cụ thể trong đoạn văn bản này, việc tăng hiệu quả tính toán trên các bộ xử lý đa lõi có thể dẫn đến các lợi ích xã hội rộng lớn. Các ứng dụng phần mềm nhanh hơn, hiệu quả hơn có thể cải thiện năng suất, cho phép các tiến bộ trong các lĩnh vực như khoa học dữ liệu, y tế (ví dụ: mô phỏng y tế nhanh hơn), và năng lượng (ví dụ: tối ưu hóa sử dụng năng lượng của trung tâm dữ liệu), cuối cùng mang lại lợi ích cho người dùng cuối thông qua các sản phẩm và dịch vụ tốt hơn.
  • Tính liên quan quốc tế: Nghiên cứu có tính liên quan toàn cầu cao. Các thách thức về lập trình song song và tối ưu hóa hiệu suất cho kiến trúc đa lõi là phổ biến trên toàn thế giới. Các công trình của Wisconsin Multiscalar [25][37], CMU STAMPede [32][33][35] và Đại học Illinois Urbana-Champaign [6][7][36] chứng minh sự quan tâm rộng rãi này. Các phát hiện về hiệu quả của TLS và các hướng dẫn lập trình có thể được áp dụng bởi các nhà nghiên cứu, nhà phát triển và nhà sản xuất chip trên khắp thế giới. Khái niệm "temporally silent stores" là một phát hiện cơ bản không giới hạn bởi vị trí địa lý.

Đối tượng hưởng lợi

Luận án này mang lại lợi ích đáng kể cho nhiều đối tượng khác nhau:

  • Các nhà nghiên cứu tiến sĩ (Doctoral researchers): Cung cấp các khoảng trống nghiên cứu cụ thể và các hướng đi mới trong lĩnh vực TLS, tối ưu hóa trình biên dịch và kiến trúc máy tính. Khái niệm về "temporally silent stores" mở ra một lĩnh vực nghiên cứu mới về tối ưu hóa phần cứng và phần mềm. Các phương pháp luận chi tiết và các kỹ thuật song song hóa thủ công được trình bày có thể là tài liệu tham khảo quý giá cho các nghiên cứu sinh đang thực hiện các dự án tương tự.
  • Các học giả cấp cao (Senior academics): Luận án cung cấp những tiến bộ lý thuyết đáng kể, đặc biệt là mở rộng lý thuyết về Thread-Level Parallelism (TLP) và Value Prediction, đồng thời thách thức các giả định hiện có về giới hạn của TLS. Điều này có thể kích thích các cuộc tranh luận mới và các hướng nghiên cứu lý thuyết trong cộng đồng học thuật. Các nhà nghiên cứu về kiến trúc máy tính sẽ đặc biệt quan tâm đến việc phân tích các "performance limiters" và các đề xuất thiết kế phần cứng cho các hệ thống TLS tương lai.
  • Nghiên cứu & Phát triển ngành công nghiệp (Industry R&D): Các ứng dụng thực tiễn của luận án là vô cùng quan trọng đối với các bộ phận R&D của các nhà sản xuất chip (ví dụ: Intel, AMD, ARM) và các công ty phần mềm lớn (ví dụ: Microsoft, Oracle). Các "programming guidelines" được đề xuất giúp giảm thiểu công sức porting ứng dụng lên các nền tảng đa lõi. Các kết quả về "an average 120% speedup on four floating point applications and 70% speedup on three integer applications" (Abstract, page iv) với "approximately 80 programmer hours and 150 lines of non-template code per application" (Abstract, page iv) cung cấp bằng chứng định lượng về ROI cho việc tích hợp và sử dụng TLS.
  • Các nhà hoạch định chính sách (Policy makers): Mặc dù không trực tiếp liên quan đến chính phủ, các nhà hoạch định chính sách trong lĩnh vực công nghệ và tiêu chuẩn công nghiệp (ví dụ: IEEE, ISO) có thể sử dụng các bằng chứng dựa trên nghiên cứu này để thông báo các quyết định về hướng phát triển kiến trúc máy tính và tiêu chuẩn lập trình song song. Luận án củng cố lập luận về sự cần thiết của hỗ trợ phần cứng cho lập trình song song dễ dàng hơn và hiệu quả hơn.
  • Lập trình viên và kỹ sư phần mềm: Cung cấp các phương pháp luận và kỹ thuật cụ thể để tối ưu hóa hiệu suất của các ứng dụng hiện có trên các nền tảng đa lõi. Điều này có thể định lượng được bằng việc giảm thời gian phát triển và tăng hiệu suất ứng dụng, giúp tiết kiệm chi phí và tăng tính cạnh tranh của sản phẩm.

Câu hỏi chuyên sâu

  1. Đóng góp lý thuyết độc đáo nhất là gì (kể tên lý thuyết được mở rộng)? Đóng góp lý thuyết độc đáo nhất là việc mở rộng lý thuyết về Value Prediction bằng cách khám phá "predictions of values that evolve in a more complex manner" (Chapter 1, page 16). Các nghiên cứu trước đây [5][7][9][20][25][32] chủ yếu tập trung vào các giá trị không đổi hoặc các bước nhảy đơn giản. Luận án này đi sâu vào việc dự đoán các giá trị thay đổi phức tạp hơn, có tiềm năng mở rộng đáng kể hiệu quả của TLS bằng cách giảm các vi phạm phụ thuộc động. Ngoài ra, việc giới thiệu khái niệm "temporally silent stores" (Chapter 2, page 37) là một đóng góp lý thuyết mới, làm nổi bật một loại hành vi bộ nhớ chưa được xử lý mà khi tối ưu hóa có thể cải thiện hiệu suất TLS.
  2. Đổi mới phương pháp luận là gì (so sánh với 2+ nghiên cứu trước đây)? Đổi mới phương pháp luận chính là cách tiếp cận song song hóa thủ công chuyên sâu (advanced manual parallelization), khác biệt so với xu hướng chung của các nghiên cứu trước đây. Trong khi các công trình của SUIF [10] và Polaris [3] tập trung vào tự động hóa hoàn toàn bằng trình biên dịch tĩnh, và nghiên cứu của CMU STAMPede [32][33][35] và Đại học Illinois [6][7][36] khám phá các lược đồ hỗ trợ phần cứng cho song song hóa động, nhưng vẫn với mục tiêu tự động hoặc bán tự động, luận án này "uses manual parallelization, so that design modifications and programmer expertise can be utilized to yield higher parallel performance" (Chapter 1, page 14). Điều này cho phép luận án "surpass the capabilities of current advanced, automated parallelizers" (Abstract, page iv) và đạt được "upper bounds of the parallelism that can be extracted" (Chapter 1, page 14), cung cấp một điểm tham chiếu quan trọng cho việc đánh giá các công cụ tự động trong tương lai.
  3. Phát hiện đáng ngạc nhiên nhất là gì (với sự hỗ trợ dữ liệu)? Phát hiện đáng ngạc nhiên nhất là khả năng đạt được tốc độ tăng hiệu suất đáng kể cho các ứng dụng số nguyên bằng TLS thủ công, vốn được biết đến là cực kỳ khó song song hóa. Luận án báo cáo "70% speedup on three integer applications" (Abstract, page iv) trong bộ SPEC CPU2000. Điều này ngạc nhiên vì các ứng dụng số nguyên thường "are characterized by instruction streams with frequent branches that are difficult to predict and by execution of relatively little computation in a regular way on large, dense matrices" (Chapter 1, page 9), làm cho chúng "for all practical purposes unparallelizable" (Chapter 1, page 9) bằng các phương pháp truyền thống hoặc tự động. Kết quả này thách thức các giả định về giới hạn của song song hóa cho các loại ứng dụng này khi có sự can thiệp và chuyên môn của lập trình viên thông qua TLS.
  4. Giao thức tái tạo được cung cấp không? Có, luận án cung cấp một giao thức tái tạo rõ ràng thông qua việc mô tả chi tiết quy trình lập trình song song thủ công với TLS (Chapter 3) và cách các kỹ thuật chuyển đổi mã được sử dụng để song song hóa các ứng dụng SPEC2000 toàn diện (Chapter 4). Chương 4 "provides a detailed description of how and where parallelism was located, the impediments to extracting it using TLS, and the code transformations that were required to overcome these impediments" (Abstract, page iv). Điều này cùng với việc chỉ định nền tảng mô phỏng là Hydra chip multiprocessor (Chapter 1, page 19) và bộ benchmark SPEC CPU2000 cho phép các nhà nghiên cứu khác tái tạo các kết quả bằng cách áp dụng các chuyển đổi mã tương tự và sử dụng cùng một môi trường mô phỏng.
  5. Chương trình nghiên cứu 10 năm được phác thảo không? Chương trình nghiên cứu 10 năm được phác thảo một cách ngầm định và chi tiết trong phần "Future Research" của luận án. Các hướng nghiên cứu cụ thể bao gồm: (1) Tự động hóa các kỹ thuật song song hóa thủ công đã phát triển, (2) Khám phá và xử lý "temporally silent stores" trong kiến trúc TLS, (3) Mở rộng TLS sang các mô hình suy đoán phức tạp hơn như "multi-level speculation" (Chapter 2, page 32), (4) Đánh giá rộng rãi hơn TLS trên các bộ dữ liệu và ứng dụng đa dạng hơn, và (5) Phát triển các công cụ hỗ trợ lập trình viên TLS chuyên dụng. Những hướng này không chỉ giải quyết các hạn chế của nghiên cứu hiện tại mà còn mở ra những con đường mới cho sự phát triển của lập trình song song và kiến trúc đa lõi trong dài hạn.

Kết luận

Luận án này đưa ra một loạt các đóng góp cụ thể và có ý nghĩa cho lĩnh vực lập trình song song và kiến trúc máy tính:

  1. Chứng minh hiệu quả của TLS thủ công: Đạt được speedup trung bình 120% cho các ứng dụng dấu phẩy động và 70% cho các ứng dụng số nguyên SPEC CPU2000 với công sức lập trình viên tối thiểu (chỉ khoảng 80 giờ và 150 dòng mã mỗi ứng dụng).
  2. Cung cấp hướng dẫn lập trình "TLS-friendly": Đề xuất một bộ các thực hành lập trình cho các ứng dụng đơn bộ xử lý để tạo điều kiện song song hóa TLS hiệu suất cao trong tương lai, giúp các lập trình viên dễ dàng chuyển đổi các ứng dụng kế thừa.
  3. Khám phá giới hạn hiệu suất mới: Giới thiệu và phân tích sâu sắc khái niệm "temporally silent stores," một yếu tố giới hạn hiệu suất chưa được ghi nhận trước đây, mở ra hướng tối ưu hóa mới cho kiến trúc TLS.
  4. Thúc đẩy giới hạn trên của TLP: Bằng cách sử dụng song song hóa thủ công trên kiến trúc TLS đơn giản (Hydra CMP), luận án xác định giới hạn trên của TLP có thể khai thác được, cung cấp một tiêu chuẩn quan trọng cho việc đánh giá các công cụ tự động.
  5. Chi tiết hóa các kỹ thuật chuyển đổi mã: Mô tả cụ thể các kỹ thuật chuyển đổi mã cần thiết để vượt qua các rào cản song song hóa, đặc biệt là việc tối ưu hóa "violation window" và xử lý các phụ thuộc phức tạp.

Nghiên cứu này đại diện cho một bước tiến trong lĩnh vực kiến trúc máy tính, bằng chứng là "inclusion of TLS in future chip multiprocessor designs" (Abstract, page iv) được hỗ trợ. Nó mở ra ít nhất ba luồng nghiên cứu mới: tối ưu hóa kiến trúc để xử lý "temporally silent stores", tự động hóa các kỹ thuật song song hóa thủ công tiên tiến, và mở rộng TLS sang các mô hình suy đoán phức tạp hơn. Với khả năng ứng dụng cho các ứng dụng tổng quát và các kiến trúc đa lõi toàn cầu, các phát hiện của luận án có tính liên quan quốc tế cao. Di sản của nó có thể được đo lường bằng việc giảm đáng kể công sức lập trình viên cần thiết để khai thác song song, tăng hiệu suất tính toán trên các nền tảng đa lõi, và định hình hướng đi của các thiết kế bộ xử lý và công cụ lập trình trong tương lai.