📜 [專欄新文章] 區塊鏈管線化的效能增進與瓶頸
✍️ Ping Chen
📥 歡迎投稿: https://medium.com/taipei-ethereum-meetup #徵技術分享文 #使用心得 #教學文 #medium
使用管線化(Pipeline)技術可以提升區塊鏈的處理效能,但也可能會產生相應的代價。
Photo by tian kuan on Unsplash
區塊鏈的擴容方案
說到區塊鏈的效能問題,目前討論度最高的應該是分片(sharding)技術,藉由將驗證者分成多組的方式,可以同時分別處理鏈上的交易需求,即使單分片效能不變,總交易量可以隨著分片/驗證者集的數量線性增加。
除了分片,另一個常用來提升程式效能的方案是將計算步驟拆解,以流水線的方式將複雜的運算攤平,降低系統的閒置時間,並大幅提升工作效率。為了達到管線化預期的目的,會需要先知道系統的瓶頸在哪。
區塊鏈的效能瓶頸
熟悉工作量證明設計哲學的人應該會知道,區塊鏈之所以需要挖礦,並不是為了驗證交易的正確性,而是要決定交易的先後順序,從而避免雙花和帳本分裂的發生。可以說,區塊鏈使用低效率的單線程設計,並付給礦工高額的成本,都只為了一件事,就是對交易的全局排序產生共識。
在這樣的基礎之上,區塊鏈在一段時間內可以處理的交易數量是有限的,這之中包含許多方面的限制,包括 CPU 效能、硬碟空間、網路速度等。其中,關於 TPS(每秒交易數) 提升和對硬體的要求大致上是線性增加的,但在設計共識演算法時,通訊複雜度常是平方甚至三次方的關係。
以現在的目標 TPS 來說,處理交易和生成一個合法的區塊並不困難,只是因為區塊鏈的特性,新區塊需要透過洪水法的方式擴散到全網路,每個節點在收到更新請求的時候都要先執行/驗證過區塊內的交易,等於整個廣播的延時會是「驗證區塊時間×經過的 hop 數量」這麼多。似乎網路越分散、節點越多,我們反而會需要降低計算量,以免讓共識不穩定。
管線化的共識機制
使用權益證明取代工作量證明算是行業發展的趨勢,除了環保或安全這些比較顯然的好處之外,權益證明對產生共識的穩定性也很有幫助。首先,權益證明在同一時間參與共識的節點數是已知的,比較容易控制數量級的邊界;其次,權益證明的出塊時間相較工作量證明固定很多,可以降低計算資源不足或閒置的機率。
相較於工作量證明是單一節點出塊,其餘節點驗證,權益證明的出塊本身就需要很多節點共同參與,瓶頸很像是從驗證轉移到通訊上。
以 PBFT 為例,每次產新區塊都需要經過 pre-prepare, prepare, commit 三個階段,你要對同意驗證的區塊簽名,還要對「你有收到某人的簽名」這件事簽名,再對「你有收到 A 說他有收到 B 的簽名」這件事簽名,過程中會有很多簽名飛來飛去,最後才能把一個區塊敲定。
為了降低每兩個區塊間都需要三輪簽名造成的延遲,後來的共識演算法包括 HotStuff 和 Casper FFG 採用了管線化的區塊驗證過程。也就是對區塊 T 的 pre-prepare 同時是對 T-1 的 prepare 和對 T-2 的 commit。再加上簽名聚合技術,出塊的開銷在複雜度等級和係數等級都降低許多。
然而,要保持管線化的區塊生產順利,需要驗證者集合固定不變,且網路通訊狀況良好。如果會經常更動驗證者集合或變換出塊的領導者,前後區塊間的相依性會是個大問題,也就是 T 的驗證者集合取決於 T-1 裡有沒有會導致刪除或新增驗證者的交易,T-1 的合法性又相依於 T-2,以此類推。
當激烈的分叉出現的時候,出塊跟共識的流水線式耦合就從優雅變成災難了。為了避免這種災難,更新的共識演算法會限制驗證者變更的時機,有些叫 epoch 有些叫 checkpoint,每隔一段時間會把前面的區塊徹底敲定,才統一讓驗證者加入或退出。到這些檢查點的時候,出塊的作業流程就會退化成原本的三階段驗證,但在大部分時候還是有加速的效果。
管線化的狀態更新
另一個可以用管線化加速的是區塊鏈的狀態更新。如前所述,現在公鏈的瓶頸在於提高 TPS 會讓區塊廣播變慢,進而導致共識不穩定,這點在區塊時間短的以太坊上尤其明顯。可是如果單看執行一個區塊內的交易所花的時間的話,實際上是遠遠低於區塊間隔的。
只有在收到新區塊的時候,節點才會執行狀態轉移函數,並根據執行結果是否合法來決定要不要把區塊資訊再廣播出去。不過其實只要給定了交易集合,新的狀態 s’ = STF(s, tx) 應該是確定性的。
於是我們有了一個大膽的想法:何不乾脆將交易執行結果移出共識外呢?反正只要大家有對這個區塊要打包哪些交易有共識,計算的結果完全可以當作業留給大家自己算吧。如果真的不放心,我們也可以晚點再一起對個答案,也就是把這個區塊執行後的新狀態根包在下個區塊頭裡面。
這就是對狀態更新的管線化,在區塊 T 中敲定交易順序但暫不執行,區塊 T+1 的時候才更新狀態(以及下一批交易)。這麼做的好處十分顯而易見,就是將原本最緊繃的狀態計算時間攤平了,從原本毫秒必爭的廣播期移出來,變成只要在下個塊出來之前算完就好,有好幾秒的時間可以慢慢來。新區塊在廣播的每個 hop 之間只要驗證交易格式合法(簽名正確,有足夠的錢付手續費)就可以放行了,甚至有些更激進的方案連驗簽名都省略了,如果真的有不合法交易混進去就在下個區塊處罰礦工/提案者便是。
把負擔最重的交易執行移出共識,光用想的就覺得效能要飛天,那代價呢?代價是區塊的使用程度會變得不穩定。因為我們省略了執行,所以對於一筆交易實際用掉多少 gas 是未知的。本來礦工會完整的執行所有交易,並盡可能的塞滿區塊空間,然而在沒有執行的情況下,只能以使用者設定的 gas limit 當作它的用量,能打包的交易會比實際的上限少。
緊接著,下一個問題是退費困難。如果我們仍然將沒用完的手續費退還給使用者,惡意的攻擊者可以透過發送 gas limit 超大,實際用量很小的交易,以接近零的成本「霸佔」區塊空間。所以像已故區塊鏈 DEXON 就直接取消 gas refund,杜絕濫用的可能。但顯然這在使用者體驗和區塊空間效率上都是次優的。
而最近推出的 smartBCH 嘗試擬了一套複雜的退款規則:交易執行後剩餘的 gas 如果小於 gas limit 的一半(代表不是故意的)就退款;如果剩餘量介於 50%-75% 可以退一半;超過 75% 推斷為惡意,不退款。乍看是個合理的方案,仔細一想會發現製造的問題似乎比解決的還多。無論如何,沒用掉的空間終究是浪費了,而根據殘氣比例決定是否退款也不會是個好政策,對於有條件判斷的程式,可能要實際執行才知道走哪條路,gas limit 一定是以高的情況去設定,萬一進到 gas 用量少的分支,反而會噴更多錢,怎麼想都不太合理。
安全考量,退費大概是沒希望了。不過呢,最近以太坊剛上線的 EIP1559 似乎給了一點方向,如果區塊的使用程度能以某種回授控制的方式調節,即使偶爾挖出比較空的區塊似乎也無傷大雅,也許能研究看怎麼把兩者融合吧。
管線化方案的發展性
考慮到以太坊已經堅定地選擇了分片的路線,比較激進的單鏈高 TPS 管線化改造方案應該不太有機會出線,不過管線化畢竟是種歷史悠久的軟體最佳化技巧,還是很有機會被使用在其他地方的,也許是 VDF 之於信標鏈,也許是 rollup 的狀態轉換證明,可以坐等開發者們表演。
倒是那些比較中心化的 EVM fork/sidechain,尤其是專門只 for DeFi 的鏈,管線化加速可以在不破壞交易原子性的前提下擴容,確實是有一些比分片優秀的地方可以說嘴,值得研究研究,但這就要看那些機房鏈們有沒有上進心,願不願意在分叉之餘也投資發展自己的新技術了。
給我錢
ping.eth
區塊鏈管線化的效能增進與瓶頸 was originally published in Taipei Ethereum Meetup on Medium, where people are continuing the conversation by highlighting and responding to this story.
👏 歡迎轉載分享鼓掌
同時也有1部Youtube影片,追蹤數超過878的網紅時事英文 Podcast by ssyingwen,也在其Youtube影片中提到,上週五,美國最大輸油管業者 Colonial Pipeline 遭遇駭客攻擊,暫停所有管線運作。新聞爆出後,許多東岸城市開始出現恐慌加油潮,目前已有上千間加油站被搶購一空。美國多州政府宣佈進入緊急狀態。 0:00 Intro 0:07 第一遍英文朗讀 (慢) 2:26 單字解說 20:0...
「管線pipeline」的推薦目錄:
- 關於管線pipeline 在 Taipei Ethereum Meetup Facebook 的最讚貼文
- 關於管線pipeline 在 PTT Gossiping 批踢踢八卦板 Facebook 的精選貼文
- 關於管線pipeline 在 軟體開發學習資訊分享 Facebook 的精選貼文
- 關於管線pipeline 在 時事英文 Podcast by ssyingwen Youtube 的最讚貼文
- 關於管線pipeline 在 Re: [問題] 管線式... - 看板TransCSI - 批踢踢實業坊 的評價
- 關於管線pipeline 在 什麼是機器學習管線? - azure-docs.zh-tw - GitHub 的評價
- 關於管線pipeline 在 戲名:《管道》/《管線》/《파이프라인》/《Pipeline 》 的評價
- 關於管線pipeline 在 附錄.C 流水線:基本與進階概念- Learning Lounge 的評價
管線pipeline 在 PTT Gossiping 批踢踢八卦板 Facebook 的精選貼文
😲😲
[爆卦] 墨西哥灣天然氣管線起火 https://disp.cc/b/163-dMrg |【更多影音】[問卦] 大海失火?? https://disp.cc/b/163-dMqM
管線pipeline 在 軟體開發學習資訊分享 Facebook 的精選貼文
NT 370 特價中
你是否希望快速學會如何使用程式碼定義 Jenkins 管道( Jankins Pipeline as Code )?
使用程式碼定義 Jankins 管線 ( Jenkins Pipeline as Code )允許你以程式碼定義和自動化管道的工作流程。
https://softnshare.com/jenkins-pipeline-as-code-all-you-need-to-know-from-a-z/
管線pipeline 在 時事英文 Podcast by ssyingwen Youtube 的最讚貼文
上週五,美國最大輸油管業者 Colonial Pipeline 遭遇駭客攻擊,暫停所有管線運作。新聞爆出後,許多東岸城市開始出現恐慌加油潮,目前已有上千間加油站被搶購一空。美國多州政府宣佈進入緊急狀態。
0:00 Intro
0:07 第一遍英文朗讀 (慢)
2:26 單字解說
20:04 第二遍英文朗讀 (快)
🎙️ Apple Podcasts, Spotify, KKbox, Google Podcasts 等各大平台連結:https://bit.ly/ssyingwenlinks
📝 朗讀文章 + 單字筆記: https://bit.ly/ssyingwenFBGroup
🖼️ 單字卡: https://bit.ly/ssyingwenIG
📪 ssyingwen@gmail.com
💬 我有建議:http://bit.ly/sssurveyform
-------------
朗讀文章參考四篇報導
1. DW: https://www.dw.com/en/us-states-declare-emergency-over-gas-shortage-fears-following-cyberattack/a-57501414
2. NPR: https://www.npr.org/2021/05/11/996044288/panic-drives-gas-shortages-after-colonial-pipeline-ransomware-attack
3. CNBC: https://www.cnbc.com/2021/05/10/hacking-group-darkside-reportedly-responsible-for-colonial-pipeline-shutdown.html
4. BBC: https://www.bbc.com/news/business-57050690
-------------
這集講解的單字片語有:
1. Colonial Pipeline
2. Darkside
3. Gas (gasoline) / petrol (petroleum)
4. Hoard; panic buying
5. Fill up - filling up - filled up
完整單字筆記在:https://bit.ly/ssyingwenFBGroup
單字卡會陸續放到 IG:https://bit.ly/ssyingwenIG
管線pipeline 在 什麼是機器學習管線? - azure-docs.zh-tw - GitHub 的推薦與評價
Azure Data Factory 管線 擅長在使用資料, Azure Pipelines 是持續整合和部署的正確工具。 但是,如果您的焦點是機器學習服務,Azure Machine Learning 管線可能是您 ... ... <看更多>
管線pipeline 在 戲名:《管道》/《管線》/《파이프라인》/《Pipeline 》 的推薦與評價
戲名:《管道》/《 管線 》/《파이프라인》/《 Pipeline 》 ... 越帥氣的西裝打領帶男人,越會騙人!靠一手鑽孔技術,盜走300億的石油!財閥為了錢什麼都做得出! ... <看更多>
管線pipeline 在 Re: [問題] 管線式... - 看板TransCSI - 批踢踢實業坊 的推薦與評價
※ 引述《ahongyeh (小葉子)》之銘言:
: 其實是這樣的...
: 我有做到了個題目...
: 不過解法好像不大一樣說...
: 我把題目PO出來...
: 1.某一計算機使用管線(Pipeline)來執行指令(Instruction),其管線分為
: 三級(Stage),每一級所需處理時間分別為5usec、6usec、7usec。從指令
: 進入第一級開始,執行完20個指令所需的時間為多少?
: (A) 120usec
: (B) 132usec
: (C) 140usec
: (D) 154usec
: 老師給的答案為(D)
: 2.在一管線計算機(Pipeline computer)中有三個管線(Pipe),其處理某一運算
: 所需的時間分別為3,6,4,則全部計算完10個此種運算所需時間為
: (A) 67
: (B) 73
: (C) 103
: (D) 130
: 老師給的答案為(A)
: 我在計算之後...
: 發現這兩題的計算方式不一樣...
: 第1題:(3+20-1)*7=154
: 第2題:(3+6+4)+(10-1)*6=67
計算機組織的聖經本為 白算盤
前年出了第三版。其中所列的公式為
(Instruction count + (pipeline stage -1)) * Clock cycle time
也就是你所舉例的第一題所提到的公式。
如果你覺得我的說法有錯,等你要考研究所時就會相信我說的話了 :p
計算pipeline的 excution time..在研究所考試是基本題..
by 可憐的研究所考生
--
※ 發信站: 批踢踢實業坊(ptt.cc)
◆ From: 140.123.202.1
... <看更多>