#中央社外文新聞中心FocusTaiwan徵才 Focus Taiwan
中央社外文新聞中心誠徵全職【英文編輯】和【英文改稿顧問】,歡迎對英文新聞有熱情的你,加入FocusTaiwan團隊!
履歷請寄:cnafnc2@gmail.com
薪資:4萬以上,面議
福利:比照勞基法規定
上班時段:日班/晚班/假日班,需輪班
上班地點:台北市中山區松江路209號7樓
其他:通過第一階段履歷篩選者,我們會以email通知筆試時間。
【徵才職位】
🔵英文編輯Writer
語言能力:精通中、英文,英文聽說讀寫能力近母語。
學歷要求:大學以上畢業,新聞系、外文科系尤佳。
工作經驗:具有英文新聞工作至少1年經驗者優先考慮。
工作內容:英文編輯需將中文新聞編譯成英文新聞,並撰寫圖說、替英文影音新聞過音、製作圖表,並協助管理FocusTaiwan網站後台及社群媒體平台。
工作要求:英文編輯須具備求證與求知的精神,除了編譯中文稿之外,也願意花心思查證新聞訊息,包括做電話採訪,或是上官方網站查詢數據或資料,以充實稿子內容。通訊社的發稿步調快速,英文編輯必須在短時間內掌握新聞重點,以外國讀者感興趣的角度撰寫文章。
🔵英文改稿顧問Copy Editor
語言能力:精通中、英文。以英語為母語的(外籍)人士,通曉中文,居住台灣者優先考慮。
學歷要求:大學以上畢業,新聞科系尤佳。
工作經驗:具有英文新聞工作至少3年經驗者優先考慮。
工作內容:英文改稿顧問主要負責編審英文編輯的稿件,包括檢查文法、拼字、標點符號和文章結構等。改稿顧問也需編審每日新聞頭條、圖說新聞和影音稿。
工作要求:英文改稿顧問需熟悉中央社英文新聞寫作體例和頭條寫作規則,確保文章使用正確的文法、拼字和標點符號,結構完整、內容詳實和平衡。
A. Writer Position:
Requirements:
-- Native or near native English and Chinese proficiency
-- A bachelor’s degree or higher in journalism, foreign languages or a related field
-- Experience writing English news stories
-- Willing to work night shifts and on weekends
-- Able to work in a fast-paced newsroom and meet tight deadlines.
The job:
The writer will be assigned Chinese news stories by the shift leaders and are required to rewrite the stories in English.
He/she will also be asked to write captions, do voiceovers for videos, create graphics, and manage the FocusTaiwan website’s backend and social media accounts.
The writer will specifically be expected to:
-- Ensure that all news stories have proper structure, content, clarity, accuracy and balance
-- Research and fact-check the information in the Chinese news stories by sometimes making calls, conducting interviews, or sifting through official information on government websites
B.Copy Editor Position:
Requirements:
-- A bachelor’s degree or higher in journalism or a related field
-- A background in English news writing and editing, preferably with some experience editing the work of non-native English writers.
-- Native English speaker; Chinese language proficiency a plus
-- Able to function efficiently under time and deadline pressure
-- Willing to work late night shifts and on some weekends
-- Flexible with regard to work hours and days off
-- Able to work as a team with shift leaders and other copy editors to ensure quality content
The job:
The editor will be required to edit news stories in the English language department, checking the grammar, punctuation, and structure and making other changes where necessary.
He/she will also be asked to write and edit headlines for the news stories, edit captions, and occasionally check video scripts.
The copy editor will specifically be expected to:
-- Become familiar with the style rules of CNA, as well as with the rules and restrictions associated with headline writing.
-- Ensure that all news stories have proper grammar, punctuation, structure, content, clarity, accuracy and balance.
-- Answer questions by writers and shift leaders about style, grammar and other aspects of English news writing.
#國際影音串流平台徵才 6/28更新
文化部補助、中央社承辦的國際影音串流平台誠徵以下職位專業人才,有志者請依以下徵才內容需求附上所需資料與我們聯繫。
請注意:來函應徵時,請在電郵主旨欄註明應徵類別,例如「應徵D1 社群媒體內容製作人」、「應徵E3 網路平台技術主管」或「應徵E5 數據工程師」
履歷請寄: personnel-video@mail.cna.com.tw
薪資:4萬以上,面議
福利:均比照勞基法規定
【公司介紹】
Taiwan Plus (Taiwan+) 國際影音串流平台,是台灣第一個以全球為目標族群的全英語新聞、節目平台。
本平台希望在全球舞台上呈現台灣觀點與聲音,同時在國際社會中提升台灣的能見度與影響力。我們將提供與台灣相關,以及超越一般視野的新聞與節目。無論是與台灣相關議題或是區域情勢,以及台灣高舉的普世價值:民主、人權、開放、創新等等,我們都期待在該領域的全球對話中成為最具影響力媒體。
我們以全球為範圍尋覓專業人才,希望打造一支世界級水準的團隊。如果您是專長領域的頂尖人才,同時堅信台灣所代表的多重價值,希望促成改變,您將是Taiwan Plus需要的夥伴。
【徵才職位】
🔵 B1 節目製作人
工作內容:
網路影音節目企劃規劃統籌,能產製外國受眾感興趣的網路影音內容。
1. 節目預算規劃與成本管控。
2. 節目主題發想與設定、外部資源整合洽談。
3. 影音節目行銷及文字撰寫。
4. 透過數據分析及判讀,並與社群數據相關部門緊密合作
學歷要求:大學以上畢業,不限科系,大眾傳播相關科系尤佳。
工作經驗:具網路影音相關節目製作5年以上工作經驗,熟悉新媒體作業。
工作技能:Office文書軟體,了解後製剪接、轉檔、字幕、ES、音效、配樂、調色等工作流程。
語言能力:精通中、英文。
其他條件:1、對台灣題材具熱情,可協調完成節目前製、後製工作。
2、請提供先前製作之節目連結。
🔵 B2 編導人員
工作內容:
1、網路節目發想/拍攝/製作。
2、協助主視覺及鏡面效果包裝設計。
3、短片內容拍攝。
4、其他主管交辦事項。
學歷要求:大學以上畢業,大眾傳播相關科系尤佳。
工作經驗:具節目製作3年以上工作經驗、網路影片拍攝、非線性剪輯3年以上經驗。
工作技能:Office文書軟體、After Effect、Final Cut、Premiere,會3D軟體尤佳。
語言能力:精通國台語、英語中等以上。
其他條件:
1. 對台灣題材有興趣、可以獨立完成節目前製與後製工作。
2. 請提供3∼5分鐘自製的影音作品及連結。
🔵 B3 節目企畫
工作內容:
1. 影音節目相關版權及IP洽談業務
2. 影音節目採購標案撰寫、執行與驗收
3. 重製影音節目發想、洽談與流程管控
4. 自製網路影音節目發想、規劃與執行
5. 密切與社群部門溝通,以利節目內容產生有效的國際傳播
學歷要求:大專以上畢業,不限科系。
工作經驗: 具2年以上傳播行銷、節目授權、專案開發等相關工作經驗。
工作技能:Office文書軟體
語言能力:精通中、英文。
其他條件:熟悉著作權相關法律,具備採購專業人員基本資格或進階資格者尤佳
🔵 D1 社群媒體內容製作人
工作內容:
1. 經營Facebook、YouTube、Instagram、Twitter等社群平台,以及
Line、What’s App等等通訊軟體。負責所有社群活動,包括內容排程、社群管理,以及最佳化貼文使用者互動經驗與搜尋。
2. 發想與製作能夠引起高度共鳴的社群圖文,同時密切與內容產製部門合作,達成內容傳遞最佳效益,將台灣題材透過創意社群轉譯給國際觀眾。
3. 管理全站及跨平台數位內容產品,包括主網站與手機應用程式(APP),主責新聞推播與電子報策略。
4. 監測互動與流量表現,並提出內容策略建議。
學歷要求:大學以上畢業,不限科系
工作經驗:具3年以上實際社群經營經驗(請提供相關工作經驗與成功案例)。
工作技能:具備影片、圖片製作思維與能力;社群平台數據分析、Google Analytics分析能力。
語言能力:精通中、英文。
🔵 E3 網路平台技術主管 Platform Technology Manager
工作內容:
1. 帶領並管理技術團隊,以充分掌握技術並達成產品開發或專案交付目標。
2. 依據專案需求,主導或協助專案管理。包含直接或協助專案經理帶領與管理技術團隊,能有效解決專案技術相關問題,確保專案如期如質交付。
3. 依據公司發展需求,負責建立開發技術團隊。內容包含人員面試、考核、技術帶領與管理等。
4. 針對新技術導入與知識管理需求,建立技術評估、技術分享辦法,協助團隊提升技術能力。
5. 其他主管交辦事項。
學歷要求:大學以上畢業,資訊或理工相關科系畢。
工作經驗:具備7年以上開發團隊主管經驗,5年以上C#、Python紮實技術基礎與開發經驗,具大型網路服務系統規畫建置經驗。
工作技能:熟悉C#/.net or Python/Django任一開發技術,熟悉AWS、GCP等雲端平台。具影音串流經驗尤佳。
語言能力:具備中等以上英語聽說讀寫能力。
其他條件:良好的溝通、團隊合作能力。
🔵 E4 DevOp工程師 DevOps Engineer
工作內容:
1. 負責內外部系統發佈、部署、調優、監控、日誌等系統和流程的維護和優化,確保系統的高可用性。
2. 負責雲端系統執行環境的建置與維護。
3. 負責突發問題處理並進行定位和處理。
4. 探索新的運維技術方向。
5. 其它主管交辦事項。
學歷要求:大學以上畢業,理工相關科系畢。
工作經驗:3年以上系統、應用運維經驗。
工作技能:熟悉linux系統,瞭解網路基本技術,熟悉TCP/IP協定原理,具AWS、GCP等雲端平台與服務維運經驗。熟悉網路安全者佳。
其他條件:良好的溝通、團隊合作、獨立作業的能力。
🔵 E5 數據工程師 Data Engineer
工作內容:
1. 執行資料處理、資料分析以及data lake、data mart的建立與維護。
2. 使用BI工具建立報表分析及數據探勘。
3. 因應業務需求,持續優化資料平台架構。
學歷要求:大學以上畢業,資訊或理工相關科系畢。
工作經驗:具備專案管理經驗,熟悉Agile軟體開發流程者佳。
工作技能:熟悉Python 或 Java,熟悉 Power BI或其他BI軟體工具,熟悉SQL。具數據分析與統計經驗。熟悉GCP者佳。
語言能力:具備基本英語溝通能力。
其他條件:良好的溝通協調能力。
🔵 E6 資訊安全暨系統維護主管 Information Security & System Maintenance Manager
工作內容:
1. 統籌公司內部資訊相關系統整合、部署、營運及維護 。
2. 確保資訊設備的可用性,因應公司營運發展所需改善現有資訊系統並預先規劃所需資源。
3. 機房規畫及運營。
4. 規劃辦公室網路環境。
5. 訂立資訊體制,改善資訊安全規範,落實資訊安全控管機制。
6. 定期對資訊風險進行評估以合乎公司安全策略及必要法規(包含ISO),確保系統運營的持續性與可回復。
7. 協助主管其他資訊專案推動。
學歷要求:大學以上畢業,資訊或理工相關科系畢。
工作經驗:7年以上資訊領域工作經驗,具資安經驗者佳。
工作技能:具軟體或平台開發經驗。具備資安相關證照者佳,具有導入ISO經驗者佳。
語言能力:具備中等英語聽說讀寫能力。
其他條件:良好的溝通協調能力。
🔵 E7 資訊安全主管 Information Security Lead
工作內容:
1. 帶領資安團隊、規劃與推動整體資安之目標與計畫。
2. 規劃/制定/執行整體資安治理流程管理。
3. 認證、稽核協調與管理。
4. 資安情資收集與資安事件應變處理。
5. 服務平台資安檢測、諮詢,與規範,持續強化系統資訊安全強度。
6. 辦公室資訊安全防禦建置與監控。
7. 研究與採購建置資安產品。
8. 對內對外資訊安全教育訓練規劃與推動。
學歷要求:大學以上畢業,資訊或理工相關科系畢。
工作經驗:3年以上資安工作經驗,具資安主管經驗者佳。
工作技能:具有AWS、GCP 等雲端環境經驗。具備OSCP,CEH等資安相關證照者佳。具有導入 ISO 經驗者佳。
語言能力:具備中等英語聽說讀寫能力。
其他條件:良好的溝通協調能力。
🔵 E8 資安工程師 Information Security Engineer
工作內容:
1. 協助資訊安全專案執行與維護工作。
2. 資訊安全解決方案(資安系統)專案規劃及建置、維護。
3. 週期性確認相關紀錄(Log),確認相關控制措施有效。
4. 研究資訊安全技術,如重大系統漏洞或惡意程式。
學歷要求:專科或大學以上,理工相關科系畢。
工作經驗:2年以上系統、應用開發或運營經驗。
工作技能:熟悉linux、windows系統,瞭解網路基本技術。具AWS等雲端平台與服務經驗者佳。具備OSCP,CEH等資案相關證照者佳。
其他條件:良好的溝通能力。
🔵 E9 網路暨維護主管/工程師 Network & System Maintenance Lead / Engineer
工作內容:
1. 負責公司與IDC 網路之規劃、建置、管理及維護。
2. 網路設備安裝、設定、管理及維護等。
3. 與分析網路資料傳輸與網路安全架構等特性,以設計、發展及維護網際網路系統之正常運作。
4. 網路解決方案研究與導入。
5. 網路系統進行監控與告警處理。
6. 一般告警處理流程、重大網路障礙排除。工作內容:
7. 機房監控、管理與一般障礙排除與處理。
8. 協助公司其他單位,提供相關的系統操作與技術支援。包含一般員工以及影音編輯人員的電腦故障排除,軟體安裝、設定、系統操作等。
9. 對突發狀況的緊急應變處理。
學歷要求:專科或大學以上,理工相關科系畢。
工作經驗:網管工作2年以上相關經驗。
工作技能:熟悉linux、windows系統。了解OSI架構、HTTP、TCP/IP、DNS、SMTP、CDN。具備Load-balancer/ Firewall/ Switch操作
經驗。具備CCNA優先考慮。
其他條件:能配合公司輪班制度者優先考慮。
🔵 E10 產品管理師
工作內容:
1. 負責OTT影音平台相關的產品功能設計、UI/UX設計。
2. 內部使用單位訪談及需求分析,協助提供內容部門產品端的解決方案。
3. 撰寫商業需求文件及負責產品UAT,執行產品功能上線前驗收測試。
4. 持續優化平台功能與使用者體驗。
學歷要求:大學以上畢業。
工作經驗:具備3年以上網路服務或者to-c系統運營經驗,對產品設計流程和解決問題抱有高度熱情及興趣。
工作技能:熟悉Web、App開發流程。具備專案管理方法以及流程設計的經驗。具UX思維規劃功能,改善使用者體驗。
語言能力:具備基本英語溝通能力。
其他條件:良好的溝通協調能力,個性耐心且細心者為佳。
🔵 E11 軟體開發主管 Software Development Lead
工作內容:
1. 負責影音平台網站、後台與API等相關功能開發。
2. 負責優化與維護既有網站與後台功能。
學歷要求:大學或專科以上畢業,理工相關科系畢。
工作經驗:具備5年以上C#.NET or Python開發經驗。具人員管理經驗。
工作經驗:
1. 具備5年以上C#.NET or Python開發經驗。
2. 具人員管理經驗。
工作技能:
1. http://xn--pcu439a.net/.net core 或 Django、Flask framework。
2. 熟悉JavaScript/CSS/HTML5。
3. 熟悉mySQL、PostgreSQL與mongo DB。
4. 熟悉版控軟體,如Git。
5. 熟悉CI/DC流程。
6. 熟悉Vue.js或React者佳。
其他條件:工作認真仔細,具良好的溝通、團隊合作、獨立作業的能力。
🔵 E12 軟體開發工程師 Software Development Engineer
工作內容:
1. 負責影音平台網站、後台與會員中心等相關功能開發。
2. 負責優化與維護既有網站與後台功能。
學歷要求:大學或專科以上畢業,理工相關科系畢。
工作經驗:具備3年以上C#.NET or Python開發經驗。
工作技能:
1. http://xn--pcu439a.net/.net core 或 Django、Flask framework。
2. 熟悉JavaScript/CSS/HTML5。
3. 熟悉mySQL、PostgreSQL與mongo DB。
4. 熟悉Vue.js或React者佳。
其他條件:工作認真仔細,具良好的溝通、團隊合作、獨立作業的能力。
同時也有9部Youtube影片,追蹤數超過871的網紅Kayczar Official,也在其Youtube影片中提到,Audio for "Observe" performed by Kayczar Written by : Kayczar Produced by : Kayczar Operasi Records LYRICS [Hook] I seen a lot, I seen a lot, I seen...
api function 在 矽谷牛的耕田筆記 Facebook 的最佳解答
本文延續前篇效能校正的經驗談,上篇文章探討了關於應用程式本身可以最佳化的部分,包含了應用程式以及框架兩個部分。本篇文章將繼續剩下最佳化步驟的探討。
Speculative Execution Mitigations
接下來探討這個最佳化步驟對於效能有顯著的提升,但是本身卻是一個非常具有爭議性的步驟,因為其涉及到整個系統的安全性問題。
如果大家對前幾年非常著名的安全性漏洞 Spectre/Meltdown 還有印象的話,本次這個最佳化要做的就是關閉這類型安全性漏洞的處理方法。
標題的名稱 Speculative Execution Migitations 主要跟這漏洞的執行概念與 Pipeline 有關,有興趣理解這兩種漏洞的可以自行研究。
作者提到,大部分情況下這類型的防護能力都應該打開,不應該關閉。不過作者認為開關與否應該是一個可以討論的空間,特別是如果已經確認某些特別情境下,關閉防護能力帶來的效能如果更好,其實也是一個可以考慮的方向。
舉例來說,假設今天你運行了基於 Linux 使用者權限控管與 namespaces 等機制來建立安全防護的多使用者系統,那這類型的防護能力就不能關閉,必須要打開來防護確保整體的 Security Boundary 是完整的。 但是如果今天透過 AWS EC2 運行一個單純的 API Server,假設整個機器不會運行任何不被信任的程式碼,同時使用 AWS Nitro Enclaves 來保護任何的機密資訊,那這種情況下是否有機會可以關閉這類型的檢查?
作者根據 AWS 對於安全性的一系列說明認為 AWS 本身針對記憶體的部分有很強烈的保護,包含使用者之間沒有辦法存取 Hyperviosr 或是彼此 instance 的 Memory。
總之針對這個議題,有很多的空間去討論是否要關閉,以下就單純針對關閉防護能力帶來的效能提升。
作者總共關閉針對四種攻擊相關的處理能力,分別是
Spectre V1 + SWAPGS
Spectre V2
Spectre V3/Meltdown
MDS/Zombieload, TSX Anynchronous Abort
與此同時也保留剩下四個,如 iTLB multihit, SRBDS 等
這種設定下,整體的運作效能再次提升了 28% 左右,從 347k req/s 提升到 446k req/s。
註: 任何安全性的問題都不要盲從亂遵循,都一定要評估判斷過
Syscall Auditing/Blocking
大部分的情況下,Linux/Docker 處理關於系統呼叫 Auditing/Blocking 兩方面所帶來的效能影響幾乎微乎其微,不過當系統每秒執行數百萬個系統呼叫時,這些額外的效能負擔則不能忽視,如果仔細觀看前述的火焰圖的話就會發線 audit/seccomp 等數量也不少。
Linux Kernel Audit 子系統提供了一個機制來收集與紀錄任何跟安全性有關的事件,譬如存取敏感的機密檔案或是呼叫系統呼叫。透過這些內容可以幫助使用者去除錯任何不被預期的行為。
Audit 子系統於 Amazon Linux2 的環境下預設是開啟,但是本身並沒有被設定會去紀錄系統呼叫的資訊。
即使 Audit 子系統沒有真的去紀錄系統呼叫的資訊,該子系統還是會對每次的系統呼叫產生一點點的額外處理,所以作者透過 auditctl -a never,task 這個方式來將整體關閉。
註: 根據 Redhat bugzilla issue #1117953, Fedora 預設是關閉這個行為的
Docker/Container 透過一連串 Linux Kernel 的機制來隔離與控管 Container 的執行權限,譬如 namespace, Linux capabilities., cgroups 以及 seccomp。
Seccomp 則是用來限制這些 Container 能夠執行的系統呼叫類型
大部分的容器化應用程式即使沒有開啟 Seccomp 都能夠順利的執行,執行 docker 的時候可以透過 --security-opt seccomp=unconfined 這些參數告訴系統運行 Container 的時候不要套用任何 seccomp 的 profile.
將這兩個機制關閉後,系統帶來的效能提升了 11%,從 446k req/s 提升到 495k req/s。
從火焰圖來看,關閉這兩個設定後,syscall_trace_enter 以及 syscall_slow_exit_work 這兩個系統呼叫也從火焰圖中消失,此外作者發現 Amazon Linux2 預設似乎沒有啟動 Apparmor 的防護,因為不論有沒有關閉效能都沒有特別影響。
Disabling iptables/netfilter
再來的最佳化則是跟網路有關,大名鼎鼎的 netfilter 子系統,其中非常著名的應用 iptables 可以提供如防火牆與 NAT 相關功能。根據前述的火焰圖可以觀察到,netfilter 的進入 function nf_hook_slow 佔據了大概 18% 的時間。
將 iptables 關閉相較於安全性來說比較沒有爭議,反而是功能面會不會有應用程式因為 iptables 關閉而不能使用。預設情況下 docker 會透過 iptables 來執行 SNAT與 DNAT(有-p的話)。
作者認為現在環境大部分都將 Firewall 的功能移到外部 Cloud 來處理,譬如 AWS Security Group 了,所以 Firewall 的需求已經減少,至於 SNAT/DNAT 這類型的處理可以讓容器與節點共享網路來處理,也就是運行的時候給予 “–network=host” 的模式來避免需要 SNAT/DNAT 的情境。
作者透過修改腳本讓開機不會去預設載入相關的 Kernel Module 來達到移除的效果,測試起來整體的效能提升了 22%,從 495k req/s 提升到 603k req/s
註: 這個議題需要想清楚是否真的不需要,否則可能很多應用都會壞掉
作者還特別測試了一下如果使用 iptables 的下一代框架 nftables 的效能,發現 nftables 的效能好非常多。載入 nftables 的kernel module 並且沒有規則的情況下,效能幾乎不被影響(iptables 則相反,沒有規則也是會影響速度)。作者認為採用 nftables 似乎是個更好的選擇,能夠有效能的提升同時也保有能力的處理。
不過 nftables 的支援相較於 iptables 來說還是比較差,不論是從 OS 本身的支援到相關第三方工具的支援都還沒有這麼完善。就作者目前的認知, Debian 10, Fedora 32 以及 RHEL 8 都已經轉換到使用 nftables 做為預設的處理機制,同時使用 iptables-nft 這一個中介層的轉換者,讓所有 user-space 的規則都會偷偷的轉換為底層的 nftables。
Ubuntu 似乎要到 20.04/20.10 的正式版本才有嘗試轉移到的動作,而 Amazon Linux 2 依然使用 iptables 來處理封包。
下篇文章會繼續從剩下的五個最佳化策略繼續介紹
https://talawah.io/blog/extreme-http-performance-tuning-one-point-two-million/
api function 在 矽谷牛的耕田筆記 Facebook 的最讚貼文
本篇文章是個經驗談,作者想要聊聊是如何將一個 4vCPU 的VM給調整到可以達到每秒處理 1.2M(120萬)個 JSON Reuqest,本篇文章非常的長,所以會分多天來介紹。
整篇文章探討的是各種 turning 的步驟,來聊聊如何從最初每秒 224k(22萬四千) 給調整到每秒 1.2M 的處理能力。
整個過程分成九大步驟,後面同時標示每個過程後的每秒請求能力
1. Application Optimizations (347k)
2. Speculative Execution Migtigations (446k)
3. Syscall Auditing/Blocking (495k)
4. Disabling iptables/netfilter (603k)
5. Perfect Locality (834k)
6. Interrypt Optimizations (1.06M)
7. The Case of the Nosy Neighbor (1.12M)
8. The Battle Against the Spin Lock (1.15M)
9. This Gost to Twelv (1.20M)
作者強調,上述的過程不一定適合你的應用程式,但是透過這些步驟能夠讓你更佳瞭解應用程式的運作行為,同時也有機會發現一些潛在的瓶頸問題。
環境介紹
1. 團隊使用 Techempower 來進行 JSON Serialization 的測試
2. 使用 libreactor(event-driven框架) 來搭建一個簡單的 API Server
3. HTTP 的解析使用 picohttpparser,同時使用 libclo 來處理 JSON 的編碼
4. 硬體環境
- Server: 4 vCPU, c5n.xlarge AWS VM
- Client: 16 vCPU, c5n.4xlarge AWS VM (clinet太弱會變成瓶頸)
- Network: Server/Client 屬於同一個可用區域(AZ)
5. 軟體環境
- 作業系統: Amazon Linux2 (Kernel 4.14)
- Server: 使用 libreactor (使用不同版本,分別是 Round18 以及 Round20)
- Client: 修改 wrk 這個知名的工具並重新命名為 twrk,詳細差異自己看文章內部,主要都跟顯示有關
6. 實驗方式
- 每個測試跑三次,取中間值
- 256 連線,16 threads,同時每個 thread 都會 pin 到一個固定的 CPU
- 每個實驗都有兩秒的暖機時間來建立連線
Ground Zero
第一個要探討的就是什麼最佳化都還沒有使用前,到底當前應用程式可能的瓶頸在哪裏
首先團隊將該應用程式與其他常見的應用程式或是開發框架比較,譬如 Netty, Nginx, Actix, aspcore 等, libreactor 的效能不錯,有中上水準。
接者作者使用火焰圖(Flame Graphs)來 Profile 該伺服器,作者很好心地將文章中所有的火焰圖都調整了一下,讓所有的 user-space 相關的 function call 都轉成藍色,而剩下跟 kernel 相關都維持紅色。
1. 大部分的時間都在 Kernel 處理
2. 主要是花費在收封包與送封包
3. 應用程式本身主要是分兩大部分,解析 HTTP 的封包以及處理請求與回應。
從上述兩點來看,作者認為目前的應用程式寫得算不錯,因為瓶頸很明顯是卡在 Kernel 端
接下來就正式進入到各種 Turning 的章節探討
Application Optimizations
長話短說:
- 作者基於 libreactor Round18 的框架進行修改,並且所有的修改都已經被合併到 Round20 的版本中,而這些修改主要是實作方面的強化以及整個框架的最佳化。
1. 作者首先透過 htop 觀察運行過程,發現 Server 只有使用 2vCPU 而已(系統有 4vCPU),因此這是作者進行的第一個修改,讓 Server 使用了 4vCPU,這個簡單調整就讓效能提升 25%
註: 作者特別強調,不要覺得從 2vCPU 變成 4vCPU 效能就可以變成兩倍,主要是1) 沒有使用的 vCPU 還有很多其他的工作要處理,因此不是完全都送給你應用程式處理。2)基於 hypter-thread vCPU 的架構,環境只有兩個真正的 CPU 而是透過邏輯的方式產生四個抽象的 CPU,所以全用一定會變快,但是基於很多資源還是要競爭與共用,數字不是單純翻倍
2. 作者自己的應用程式本身使用 gcc 建置時有使用 "-o3" 的方式來最佳化處理,然而框架本身卻沒有使用 "-o3" 的方式來弄,因此作者也針對這個部分來處理,讓建制框架時能夠使用 -o3
3. 從實作方面來看,作者觀察到 libreactor 1.0 版本使用的是 read/write 這兩個常見的方式來處理封包的送收,作者將其修改成 recv/send 整個效能就提升了將近 10%。
註: write(針對 FD,更全面廣泛的用法) 與 send(針對 Socket,更針對的用法) 使用上差異不大,但是 write 於底層 Kernel 最終還是會呼叫到 send 來處理,所以基本上可以理解就是在沒有特別參數需求時,可以直接跳過幾個 kernel function 來達到加速的效果。
write kernel 內的走向: sys_write -> vfs_write -> __vfs_write -> sock_write_iter -> sock_sendmsg
send kernel 內的走向: sendto -> sock_sendmsg
4. 作者觀察到火焰圖中有一些 pthread 相關的資料,進而發現 libreactor 會創造一個 thread pool 來處理非同步的 DNS 名稱解析問題。對於一個 HTTP Client 來說,如果今天要發送請求到多個不同的 domain,而每個 domain 都會需要進行一個 blocking 的解析過程,透過這種方式可以減少 DNS 解析造成的 blocking 問題。然而對於 HTTP Server 來說,這個使用情境帶來的效益似乎就稍微低了些,畢竟 Server 只有 Bind Socket 之前可能會需要去解析一次 DNS 而已。
大部分的情境下, thread pool 都是應用程式初期會去創造而接者就不太會管她,但是對於錙銖必較的效能除錯人來說,任何能夠調整的部分都可能是個值得探討的地方。
作者透過修改 Server 端(準確來說是 libreactor 框架內的程式碼)關於 Thread Pool 的一些用法,成長的讓整個效能提升了 2~3%
結論來說,透過上述四個概念來提升的程式碼效能。
1. vCPU 盡量使用: 25%-27%
2. 使用 gcc -O3 來建置框架的程式碼: 5%-10%
3. 使用 march=native 等參數來建置最後的 server 應用程式: 5%-10%
4. 使用 send/recv 而非 write/read: 5%-10%
5. 修改 pthread 的用法: 2%-3%
註: 作者強調每個最佳化的結果並非是單純累積的概念,反而還會有互補的效果。
可能前述的操作實際上也會讓後續的操作達到更好的效果,
譬如如果先跑 vCPU 的調整,效能大概提升 25%,但是如果先執行別的最佳化過程,最後再來調整 vCPU,就可以達到 40% 的效果,主要是 CPU 可以共有效率的去執行程式。
最後,這個部分讓整個處理封包能力從 224k 提升了 55% 到 347k (req/s)。
從火焰圖來看,整個 user-space 的範圍縮小許多,同時 send/recv 的處理也有使得整體的高度下降一點點(大概四格..)
為了避免文章過長,本篇文章就探討第一個最佳化的過程,剩下的就敬請期待後續!
https://talawah.io/blog/extreme-http-performance-tuning-one-point-two-million/
api function 在 Kayczar Official Youtube 的最佳解答
Audio for "Observe" performed by Kayczar
Written by : Kayczar
Produced by : Kayczar
Operasi Records
LYRICS
[Hook]
I seen a lot, I seen a lot,
I seen some brothers who’s scraping a pot,
I seen some bitches go down for the spot,
I seen some fathers who work on the block,
I seen some mothers with 22 jobs,
I seen some money, but never seen knots,
I seen some hunnids get blown on some rocks,
I seen a lot man, I seen a lot man,
I seen a lot
[Verse 1]
I seen the bottom of bottoms,
I've seen whole families at temples for lottos,
I've seen the blood on the car post a postal that happened outside when they sound and asleep next to the lushest of grottos,
Who's looking out for us?
The nation been spiraling, numbers been down and they drippin all over chanel?
My heart has been hurtin’, can you tell?
I mask the pain in a bottle,
I tell these stories that's makin 'em laugh so they don't see the clouds that I follow,
Times gettin darker,
I want the family to eat so I sleep when I can not when I want to,
Bila lagu aku laku,
My people gon ball till the heavens,
Been living in hell for so long that I cannot be saved,
Not even the sharpest of reverends,
I revel in pressure and my eyes are set on a goal and there’s no turning back I need reparations,
So I’m blowin’ detonation everytime I do a beat or verse,
I used to wanna give up but now gon’ have to put me in a hearse,
Ya heard, cause
[Hook]
I seen a lot, I seen a lot,
I seen some brothers who’s scraping a pot,
I seen some bitches go down for the spot,
I seen some fathers who work on the block,
I seen some mothers with 22 jobs,
I seen some money, but never seen knots,
I seen some hunnids get blown on some rocks,
I seen a lot man, I seen a lot man,
I seen a lot
[Verse 2]
Know your worth homie,
Don’t fuck with these cronies,
Don’t test how I move,
Semuanya ku dah lihat,
Aku ni takut nak kalah,
Cam mana aku nak rehat?
Aku nak tengok ayah bawak tesla,
Duit bertingkat,
Semua adikku bawak tester,
Cuma tunggu ujian,
And you know that I run it cause I seen some nights without no food,
I been through hell like I told you,
Tapi api neraka pun tak sepanas hustleku for my family I’ll fold you,
Make you old news,
Yeah your whole crew,
You got it?
I'll take it, can’t hold you,
Hidup ni satu ticket there’s no two,
You better grab what you want ‘fore it’s over for ya,
Can I live for a second? That’s Hova for ya,
Might end up pushing that contraband,
My brother keep drums like they got a band,
I’m trying to make em see light ‘fore they end up inside of a cell like so many men,
But they see red on a daily,
Tell me they gotta stay strapped cause
A day in their life’s like a lifetime of crazy
My thoughts are startin to hazy
[Verse 3]
Abang long sudah bilang,
Kiblat drill arah JB,
Mana korang semua hilang?
Kata kau ballin cam CP3?
Mana hustle kau sekarang?
Mana kawan kau yang industry?
Aku surrounded by the real ones,
Semua takkan terlipat under pressure,
See the gold on my necklace,
Amma blessed me,
I got the Sulam behind me,
Y'all know this energy crazy,
Step in my home man these demons can't test me,
Most of these haters ain't met me,
They why they got all these assumptions,
Memang tak function,
Real Gs move in silence,
That's why you ain't seen all my homies,
Stop askin round about who all gon know me,
All of your boys on the level below me,
All of my people gon eat man that's on me,
I ain't got it but at least I'm not phony,
Wearin those fake jewels like you own it,
You're not my opponent,
You ain't never been on it to me,
I'll take your career and I'll roll it up,
You ain't got integrity, clout it up,
I'll take my path I swear that's enough,
My brother done taught me man fuck your love,
Do what I want I don't fuck with you standards,
Who set the rules man they should be abondoned,
Ku tak pernah silap langkah,
I am the one man sila pangkah,
81100 the realest, fakta

api function 在 音声翻訳機レビューSpeechTranslatorReviewTV Youtube 的最讚貼文
シャープ新潟電子工業株式会社さんのDALI対応調色タイプベースライトを、DALI APIを叩けるゲートウェイからNode-REDを使って操作してみました。
インジェクションノードはシーン名を文字列で送り、functionノードにて対応するDALIコマンドに変換しゲートウェイに送っています。

api function 在 prasertcbs Youtube 的最讚貼文
สอนการใช้ฟังก์ชัน WebService และ FilterXML ในการดึงราคาหุ้นในตลาดหลักทรัพย์แห่งประเทศไทยย้อนหลัง เช่น ดึงราคาหุ้น SCC (ปูนซิเมนต์ไทย) ย้อนหลัง 1 เดือน โดยใช้ Yahoo API
สาธิตวิธีการเขียนเงื่อนไขใน XPath เพื่อถึงข้อมูลหุ้นที่ต้องการ
==ดาวน์โหลดไฟล์ตัวอย่างได้ที่ https://goo.gl/qfj44W
**หมายเหตุ เมื่อเปิดไฟล์ตัวอย่างแล้ว ให้กดฟังก์ชันคีย์ [F9] เพื่อ refresh ข้อมูล
