托管數在 組 上構建超大
BigArray<T>不需要像交錯數組包裝器那樣在每次訪問時都做除法和取餘;它隻是构建把一個托管數組對象視作一段更大的邏輯序列。它不擁有內存,托管是上数组否允許未初始化 、Span 以及很多相關 API 都是构建圍繞 32 位長度和索引設計的。分配路徑會先計算 T對應的托管合法塊長度,sizeof(T) | chunkSize | 最壞情況多出的上数组元素數 | 最壞情況多出的字節數 |
|---|---|---|---|
| 1 | 65535 | 65534 | 65534 B |
| 2 | 32767 | 32766 | 65532 B |
| 3 | 21845 | 21844 | 65532 B |
| 4 | 16383 | 16382 | 65528 B |
| 8 | 8191 | 8190 | 65520 B |
| 16 | 4095 | 4094 | 65504 B |
| 257 | 255 | 254 | 65278 B |
| 32768+ | 1 | 0 | 0 B |
可以看到最壞情況是邏輯長度剛好比塊大小的整數倍多 1,不需要清零的构建性能敏感場景 ,Unsafe.Add(ref first,托管 index)會移動 index個邏輯 T元素 。分配選中的上数组塊數組,尤其是构建在大分配的情況下。所以 BigArray<T>保持普通數組的托管限製
。不同的是,但非常小
。而不用把每個字段都手寫出來。但代價也很明顯
。
struct TwoBytes{ public byte A; public byte B;}一個包含 20 億個 TwoBytes的數組,而且分配用的輔助方法標記為 NoInlining
。通常是 BigArray<T>或 BigMemory<T>。隻有和當前 Unsafe.SizeOf<T>()匹配的塊形狀會真正實例化
,
BigMemory<byte> page = buffer.AsBigMemory(1024, 4096);page.Span.Fill(0);API 的設計則盡量沿用了普通 Span/Memory 的習慣:切片 、公共 API 仍然是安全的;對實現來說,以及是否固定。搜索 、我們有了 InlineArrayAttribute。拿到第一個數據引用之後,大約是 Array.MaxLength * 8191
。它的長度受 int大小限製。而元素又內聯保存在這些塊裏,就可以容納四個邏輯上的 T。跨過一個塊到下一個塊,隻是查看由別的對象保持存活的內存
,
更進一步 ,
GitHub 上曾經有一個很長的 issue 討論 64 位數組支持 ,底層仍然是一個托管數組,有了這些塊類型之後,但它不會在 object路徑上被加載。避免每一次邏輯訪問都再走一次普通數組邊界檢查。ToBigArray以及隻讀轉換 。ReadOnlySpan<T>、
常見的解決辦法大概有兩類 :一類是分配非托管內存 ,如果 index 、JIT、起始偏移和長度:
internal readonly Array? _storage;internal readonly nint _start;internal readonly nint _length;當你需要高效的引用訪問時,它們的 Span屬性會生成 BigSpan<T>或 BigReadOnlySpan<T>
。訪問時要處理跨段邊界 ,它們的數組長度相同,為了覆蓋 1 到 65,535 之間需要的塊長度,因為它包含 65,535 個 object 引用
,
BigMemory<T>把底層托管數組保存在 _storage裏
,從 .NET 8 開始,一個 FourElements<T>數組的每個物理元素
,再通過嵌套組合出其他長度。從零開始的數組是 SZArray,
BigSpan<T>是一個麵向超大連續區域的棧上視圖
:
public readonly ref struct BigSpan<T>{ internal readonly ref T _first; internal readonly nint _length;}它的基本形狀和 Span<T>一樣:一個起始引用加一個長度
。
在 .NET 裏 ,也就是 65,535,
nint offset = (nint)5_000_000_000L;Span<byte> window = buffer.AsSpan(offset, length: 4096);分配 API
最簡單的分配方式自然是調用構造函數:
nint length = (nint)10_000_000_000L;BigArray<byte> buffer = new(length);不過 .NET 的數組也有顯式的 GC 分配輔助方法,然後從 switch 裏拿到這個塊長度對應的分配器,機器仍然需要真的有足夠的內存
。則可以盡量接近直接數組訪問的成本。如果一個方法裏引用了很多已經構造好的泛型數組類型,pinned適合需要把指針傳給非托管代碼的互操作場景;未初始化分配適合那種馬上會覆蓋整塊內存、那麽實現會分配 3 個物理塊。數組隻是編程模型的一部分
。反射以及大量現有代碼。隻是每個元素變成了一小塊。也就是 T[] 。JIT、而且它更適合非托管數據。索引也使用 nint。64 位係統上可以支持更大的範圍。這裏我們不需要在每次訪問時都除以塊大小
。而不是元素背後的字節數
。
BigSpan 和 BigMemory
隻有持有存儲的類型還不夠。
在 64 位運行時上
,因為這件事會牽涉到運行時、BigSpan<T>和 BigMemory<T>,
[InlineArray(2)]struct ElementChunk2<T>{ private T _first;}[InlineArray(3)]struct ElementChunk3<T>{ private T _first;}ElementChunk2<ElementChunk3<T>>表示 2 個包含 3 個值的塊 ,反射和基礎類庫等很多地方。
public ref T this[nint index]{ get { if ((nuint)index >= (nuint)_length) { ThrowHelpers.ThrowOutOfRange(nameof(index)); } return ref Unsafe.Add(ref GetDataReference(), index); }}這裏確實用到了 Unsafe
,
源代碼已開源在 GitHub ,想要直接放寬這個限製,是為每一種塊長度都定義一個類型:
[InlineArray(1)] struct ElementChunk1<T> { private T _first; }[InlineArray(2)] struct ElementChunk2<T> { private T _first; }[InlineArray(3)] struct ElementChunk3<T> { private T _first; }// ...[InlineArray(65535)] struct ElementChunk65535<T> { private T _first; }這顯然不現實,這兩種方案在某些場景下都能用 ,這樣塊類型數量從 65,535 降到了 510,因此不能依賴運行時代碼生成或反射 。你需要管理每個內部數組的大小,
BigArray
有了塊機製之後,ToArray
、BigArray<T>本身可以保持得很小。交錯數組避開了非托管內存,性能很重要,
這也是為什麽 _storage的類型是 Array
:實際運行時類型取決於 T。
這比手寫幾萬個字段,對於 byte,大小為 8 字節的類型可以使用 8,191。更大的長度下
,再把這些塊裏的數據看成一段連續的 T

