詳解
Task<int>方法 ,再額外傳遞一個 Continuation 對象。JIT 看到的是 C# 編譯器已經生成好的 MoveNext 狀態機;而在 Runtime Async 中 ,而是一係列狀態機
、並且 JIT 能證明這個 Task 不會逃逸,JIT 才會在這一刻真正創建保存當前執行狀態所需要的 Continuation:
mov rdi, rcxmov rsi, 0x... ; Continuation typecall [CORINFO_HELP_ALLOC_CONTINUATION]mov r12, rax隨後把恢複執行時仍然需要的局部狀態保存進去:
mov dword ptr [r12+0x48], ebx最後:
mov rcx, r12ret把剛剛創建好的 Continuation放進 rcx ,被標記的方法則會作為 CPS 變換的入口點。同時額外增加一條用於傳遞 Continuation 的通道。尤其是在調用鏈較深的情況以及各種基於異步模型來做的分布式計算係統中
:
- 很多異步方法的調用鏈實際上隻有最裏層的異步方法才會真正暫停
,
上述問題在暫停真正發生的情況下其實並不是什麽太大的問題 ,等待一個 ThreadPool 上的 continuation 導致的暫停
- TaskCompletionSource continuation:異步方法
,
另外,甚至需要操作係統提供專門的支持 。甚至比直接使用係統線程還要慢 。Task 、await 不是一個普通的識別符,
例子
接下來讓我們看看 Runtime Async 會生成什麽樣的代碼。因此也確實需要一個
Task對象來存儲結果 。說明調用已經同步完成 ,JIT 在編譯MoveNext時通常會因為代碼體積過大而避免內聯 ,幾乎完全消除了傳統 async 的開銷 ,運行時會再次進入這個 Runtime Async 方法,還必須正確維護與底層係統線程相關的 Shadow Stack 狀態。直接返回結果 。從而簡化了異步編程的複雜性。JIT 實際上會生成一個采用 Async Calling Convention 的內部版本Program:Fib(int):int:this,類似於 goroutine 和 Java Virtual Thread,然而這種方案有天然的缺陷:
Green Thread 再輕量其本質上仍然是一個完整的執行上下文, // continuation 最終在哪裏執行取決於 awaiter 以及當前的 SynchronizationContext / TaskScheduler 等 。檢查返回的 Continuation 是否為 null,把原始的異步控製流直接交給 JIT 處理不就行了嗎 ?於是 Runtime Async 就誕生了 。整條調用鏈的數據傳遞形式可以說跟普通同步函數調用沒區別 :參數走寄存器 , FailTask(ResultTask, ex); } }}
這麽一來,被等待操作的返回值或異常狀態等等。真正的係統調用最終仍然需要由底層承載它的係統線程來執行 。最簡單的辦法就是將異步方法拆分成多個部分,
傳統 async 的局限性
你可能會注意到,async/await 模型下,每個部分在 await 處暫停,async 關鍵字其實並不是必須的,狀態機會繼續執行剩餘的代碼。 // 當 Task.Delay 完成後 ,而是把異步控製流保留到運行時,它不再讓 C# 編譯器提前把 async 方法展開成狀態機,
也就是說,使狀態機再次執行 MoveNext 。並且需要在被等待的異步操作完成後繼續執行。同樣采用了 async/await 模型 ,當然 ,
首先 async/await 模型下 ,返回值和 Continuation 都可以被放進寄存器裏 。方法就像普通同步方法一樣從頭開始執行 。那麽這個
Task<T>對象就根本不會被創建 ,例如第一次遞歸調用 :
await Fib(n - 1)被編譯成 :
lea edx, [rbx-0x01] ; n - 1mov rdi, r14 ; thisxor rsi, rsi ; Continuation = nullcall [Program:Fib(int):int:this]而
Fib(n - 1)實際上返回了兩個值:eax = Fib 的 int 返回值rcx = Continuation當然,Runtime Async 也有顯著的性能提升 ,
這樣一來,保存這這些東西隻需要幾十個字節,合著 Green Thread 需要妥協這麽多東西最後還不如原來的 async/await 性能好。
Green Thread
其實在本文即將重點介紹的 Runtime Async 之前,並通過 MoveNext、等待一個嵌套了多層的異步調用鏈 ,
Runtime Async
傳統 async/await 需要由 C# 編譯器在編譯時生成狀態機,那麽它就會直接返回正常的結果 ,等價的 C# 偽代碼類似於 :
var (result1, continuation1) = Fib(null, n - 1);if (continuation1 != null) Suspend(continuation1);var (result2, continuation2) = Fib(null, n - 2);if (continuation2 != null) Suspend(continuation2);return result1 + result2;而實際上 ,因此運行時不僅需要切換普通棧指針 ,而且這樣一來,awaiter 和 method builder 來驅動執行 。
例如,例如跨越暫停點後仍然存活的局部變量 、如果失敗則會在這裏拋出異常 。 awaiter.GetResult(); // 把 Task<int> 完成並把結果設置成 42 。
而這個 thunk 中其實也有前麵說過的類似代碼:
xor rsi, rsicall [Program:Fib(int):int:this]mov ebx, eaxtest rcx, rcx ; Continuation 是否為 null也就是先調用真正的 Runtime Async 方法後
,這時候當前 Fib自己也必須暫停。也沒有任何狀態機的開銷 ,它隻需要保存非常少量的東西,並在函數返回時檢查普通調用棧中的返回地址是否與 Shadow Stack 一致
。MoveNext方法通常非常大,Continuation 指針和 n 的值)
:
mov r14, rdi ; thismov r15, rsi ; Continuationmov ebx, edx ; n第一次調用 Runtime Async 方法時,
但如果執行到某個 await 時 ,並返回一個非空的 Continuation 對象給調用方
,這個方法通過寄存器傳遞參數(this 指針 、當代碼最終交給 JIT 時,會采用 async 關鍵字讓用戶來標記一個方法為異步方法
,而真正暫停時也隻需要為實際使用的狀態付費
。Task.Delay(1000)是一個異步操作 ,
再有 ,測試代碼見 :https://gist.github.com/hez2010/d1802e7c7ab10e21a92dcba2afe0a58d 。JIT 給我們編譯出來了類似下麵的代碼,並沒有需要恢複的狀態,但從普通 C# 代碼看來,直到整個異步調用鏈完成。但它也有一些局限性。考慮下麵這個遞歸計算斐波那契數列的異步方法 :
class Program{ async Task<int> Fib(int n) { if (n <= 1) return n; return await Fib(n - 1) + await Fib(n - 2); }}我們編譯出程序集後讓 ILSpy 反編譯 IL 得到 :
internal class Program{ [MethodImpl(MethodImplOptions.Async)] [NullableContext(1)] public Task<int> Fib(int n) { //IL_0026: Expected O, but got I4 //IL_0006: Expected O, but got I4 if (n > 1) { int num = AsyncHelpers.Await(Fib(n - 1)); int num2 = AsyncHelpers.Await(Fib(n - 2)); return (Task<int>)(num + num2); } return (Task<int>)n; }}除了原始邏輯之外什麽狀態機都沒有 !於是這部分的開銷直接歸零。於是程序可以立即繼續執行 :
lea edx, [rbx-0x02]mov rdi, r14xor rsi, rsicall [Program:Fib(int):int:this] ; 進行第二次遞歸調用 Fib(n - 2)換成接近 C# 的偽代碼,輪到 JIT 編譯器這個方法的時候總該能判斷了吧 ?
其實也不行。 awaiter.OnCompleted(MoveNext); return; } goto case 1; } case 1: { state = -1; // 確認被 await 的操作已經成功完成 ,或者在進入相關代碼時執行額外的調度和切換 。 add ebx, r12d mov eax, ebx ; return value xor ecx, ecx ; null Continuation retSUSPEND_FIRST: ; Fib(n - 1) 暫停了
,其實隻是要讓編譯器知道在這個方法裏
,於是我們必須創建一個 Continuation 來保存當前的執行狀態。也沒有任何狀態機的開銷。轉而開發 Runtime Async 。這會使很多原本可以跨方法進行的優化變得非常困難
。從而避免了線程切換的開銷。返回值走寄存器,導致開發者無法自由地控製調度行為。await關鍵字會暫停 GetDataAsync方法的執行
,Fib 的簽名仍然是 Task<int> Fib(int)
。在所有測試中,這個 Task<int> 會在當前異步方法完成時被設置為完成狀態。預熱之後各個測試運行一億次,但 C++ 並不要求 async 關鍵字
。也無法做任何優化,掛起與恢複等額外工作,每個狀態對應著 await 關鍵字的邊界。但實際上大部分負載都是同步的。而且扔到 asp.net core 裏跑發現 RPS 居然不升反降 ,這意味著整個調用鏈中沒有創建任何 Task對象,並且調用鏈越深性能提升還會越大
!傳入的 Continuation 為 null,而 Green Thread 通常會在用戶態自行切換調用棧,但沒有發生暫停。
傳統 async/await
.NET 自古以來就提供了 async/await 異步編程模型,因此運行時需要在兩種調用約定之間放置一個邊界 ,因為 C# 編譯器的編譯單元是方法 ,調用約定會變成:
(result, continuation) = B(continuation, args);這裏的 continuation 用來表示整個異步調用鏈在發生暫停後繼續執行所需要的狀態 。
當第一次調用異步方法時 ,Runtime Async 都能以最小的開銷執行。Runtime Async 保留普通返回值原本的 ABI,
MethodImplOptions.Async來標記,等待一個 TaskCompletionSource 導致的暫停最後,說明發生了暫停
就可以同時獲得異步方法的返回結果 ,正常返回值和額外的 Continuation 都屬於調用約定的一部分,就知道整個異步調用鏈已經暫停了 ,等待異步操作完成後繼續執行:
class StateMachine{ private int state = 0; // 創建一個用來存儲結果的 Task<int>,同時返回一個空的 Continuation 表示整個調用鏈沒有發生暫停。並不需要為每一層 async 調用創建額外的結果包裝對象 ,.NET 官方在實現完 Green Thread 後發現這玩意不僅局限性很大 ,這樣一來 ,而這個同步方法又調用了另一個異步方法
,並且由於被暫停的代碼是在之後才被恢複執行的,因此如果代碼真正暫停了
,調用方在收到非空的 Continuation 後,執行速度跟同步方法的基線幾乎沒有差別
。所有的異步抽象開銷全部消失了!此時運行時會保存繼續執行所需要的狀態 ,相較於 Green Thread,被等待的異步操作尚未完成,將當前異步方法拆分成多個部分 ,額外的 Continuation 也走寄存器 ,C# 編譯器什麽都不做,因此哪怕 JIT 想要做一些跨方法的優化也很難做到。.NET 的 Green Thread 實驗中發現 Green Thread 上做係統調用 1 億次,
另外 ,Continuation非空的情況也能直接從生成代碼中看到
。
第一次遞歸調用之後 :
call [Program:Fib(int):int:this]mov r12d, eaxtest rcx, rcxjne SHORT SUSPEND
如果 rcx != null

