跳到主要內容

【故障公告】數據庫服務器 CPU 近 100% 引發的故障（源於 .NET Core 3.0 的一個 bug）,雲計算之路-阿里雲上：數據庫連接數過萬的真相，從阿里雲RDS到微軟.NET Core


非常抱歉，這次故障給您帶來麻煩了，請您諒解。


今天早上 10:54 左右，我們所使用的數據庫服務（阿里雲 RDS 實例 SQL Server 2016 標準版）CPU 突然飆升至 90% 以上，應用日誌中出現大量數據庫查詢超時的錯誤。


Microsoft.Data.SqlClient.SqlException (0x80131904): Execution Timeout Expired.  The timeout period elapsed prior to completion of the operation or the server is not responding.
  ---> System.ComponentModel.Win32Exception (258): Unknown error 258

我們收到告警通知並確認問題后，在 11:06 啟動了阿里雲 RDS 的主備切換， 11:08 完成切換，數據庫 CPU 恢復正常。但是關鍵時候 docker swarm 總是雪上加霜，在數據庫恢復正常后，部署博客站點的 docker swarm 集群有一個節點出現異常情況，部分請求會出現 50x 錯誤，將這個異常節點退出集群並啟動新的節點后在 11:15 左右才恢復正常。


通過阿里雲 RDS 控制台的 CloudDBA 發現了 CPU 近 100% 期間執行次數異常多的 SQL 語句。



SELECT TOP @__p_1 [b].[TagName] AS [Name], [b].[TagID] AS [Id], [b].[UseCount], [b].[BlogId]
 FROM [blog_Tag] [b]
 WHERE [b].[BlogId] = @__blogId_0
     AND @__blogId_0 IS NOT NULL
     AND [b].[UseCount] > ?
 ORDER BY [b].[UseCount] DESC

上面的 SQL 語句是 EF Core 3.0 生成的，其中加粗的  IS NOT NULL  就是 EF Core 3.0 的一個臭名還沒昭著的 bug —— 生成 SQL 語句時會生成額外的  IS NOT NULL  查詢條件。


誰也沒想到（連微軟自己也沒想到）這個看似無傷大雅的多此一舉卻存在致命隱患 —— 在某些情況下會讓整個數據庫服務器 CPU 持續 100% （或者近 100%）。一開始遇到這個問題時，我們也沒想到，還因此錯怪了阿里雲（），後來在阿里雲數據庫專家分析了我們遇到的問題后才發現原來罪魁禍首是 EF Core 生成的多餘的 "IS NOT NULL" ，它會在某些情況下會造成 SQL Server 緩存了性能極其低下（很耗CPU）的執行計劃，然後後續的查詢都走這個執行計劃，CPU 就會居高不下。這個錯誤的執行計劃有雙重殺傷力，一邊巨耗數據庫 CPU ，一邊造成對應的查詢無法正常完成從而查詢結果不能被緩存到 memcached ，於是針對這個執行計劃的查詢就越多，雪崩效應就發生了。唯一的解決方法就是清除這個錯誤的執行計劃緩存，主備切換或者重啟服務器只是清除執行計劃緩存的一種簡單粗暴的方法。


在我們開始遇到這個問題，就已經有人在 github 上了這個問題：



Yeah this needs to be fixed asap. We just deployed code that uses 3.0 and had to immediately revert to 2.2 because simple queries blew up our SQL Azure CPU usage. Went from under 50% to 100% and stayed there until we rolled back.



但當時沒有引起微軟的足夠重視，在我們知道錯怪了阿里雲實際是微軟的問題之後，我們向微軟 .NET 團隊反饋了這個問題，這次得到了微軟的重視，很快就修復了，但是是通過 .NET Core 3.0 Preview 版發布的，我們在非生產環境下驗證了  IS NOT NULL 的確修復了，由於是 Preview 版，再加上 .NET Core 3.1 正式版年底前會發布，所以我們沒有在生產環境中更新這個修復，只是將上次出現問題的複雜 SQL 語句改為用 Dapper 調用存儲過程。後來阿里雲數據庫專家進一步對我們的數據庫進行分析，連平時數據庫 CPU 的毛刺（偶爾跑高的波動）都與  IS NOT NULL  有關。


這就是這次故障的背景，在我們等待 .NET Core 3.1 正式版修復這個 bug 的過程中又被坑了一次，與上次不同的是這次出現問題的 SQL 語句非常簡單，而且只有一個 "IS NOT NULL" ，由此可見這個坑的殺傷力。


這個坑足以載入 .NET Core 的史冊，另一個讓我們記憶猶新的那次也讓我們錯怪阿里雲的 .NET Core 坑是正式版的 .NET Core 中 SqlClient 竟然漏寫了 Dispose ，詳見 。

本站聲明:網站內容來源於博客園,如有侵權,請聯繫我們,我們將及時處理【其他文章推薦】

※想知道網站建置、網站改版該如何進行嗎?將由專業工程師為您規劃客製化網頁設計及後台網頁設計



※不管是台北網頁設計公司、台中網頁設計公司，全省皆有專員為您服務



※Google地圖已可更新顯示潭子電動車充電站設置地點!!



※帶您來看台北網站建置，台北網頁設計，各種案例分享



Orignal From: 【故障公告】數據庫服務器 CPU 近 100% 引發的故障（源於 .NET Core 3.0 的一個 bug）,雲計算之路-阿里雲上：數據庫連接數過萬的真相，從阿里雲RDS到微軟.NET Core

留言

張貼留言

這個網誌中的熱門文章

Python 併發總結，多線程，多進程，異步IO

1 測量函數運行時間 import time def profile(func): def wrapper(*args, ** kwargs): import time start = time.time() func( *args, ** kwargs) end = time.time() print ' COST: {} ' .format(end - start) return wrapper @profile def fib(n): if n<= 2 : return 1 return fib(n-1) + fib(n-2 ) fib( 35 )   2 啟動多個線程，並等待完成   2.1 使用threading.enumerate() import threading for i in range(2 ): t = threading.Thread(target=fib, args=(35 ,)) t.start() main_thread = threading.currentThread() for t in threading.enumerate(): if t is main_thread: continue t.join()   2.2 先保存啟動的線程 threads = [] for i in range(5 ): t = Thread(target=foo, args= (i,)) threads.append(t) t.start() for t in threads: t.join()   3 使用信號量，限制同時能有幾個線程訪問臨界區 from threading import Semaphore import time sema = Semaphor...
張貼留言
閱讀完整內容

韋伯連續劇終於更新 期待第一季順利完結

　　地球天文學界的跳票大王詹姆斯·韋伯空間望遠鏡 (James Webb Space Telescope，縮寫為 JWST)自 1996 年以來斷斷續續不按劇本演出的連續劇終於讓焦慮的觀眾們又等到了一次更新：五層遮陽罩測試順利完成。 裝配完成的韋伯望遠鏡與好夥伴遮陽罩同框啦。Credit: NASA 　　嚴格的測試是任何空間任務順利成功的重中之重。遮陽罩，這個韋伯望遠鏡異常重要的親密夥伴，要是無法正常運轉的話，韋伯的這一季天文界連續劇說不準就要一直拖更了。 　　詹姆斯·韋伯空間望遠鏡是歷史上造出的最先進的空間望遠鏡。它不僅是一架紅外望遠鏡，還具有特別高的靈敏度。但想要達到辣么高的靈敏度來研究系外行星和遙遠的宇宙童年，韋伯童鞋必須非常"冷靜"，體溫升高的話，靈敏度會大大折損。這個時候，遮陽罩就要大顯身手啦。 　　遮陽罩在韋伯的設計中至關重要。韋伯望遠鏡會被發射到拉格朗日 L2 點，運行軌道很高，遠離太陽、地球與月球。太陽是韋伯的主要熱量干擾的來源，其次是地球與月球。遮陽罩會有效阻斷來自這三大熱源的能量並保護韋伯維持在工作溫度正常運轉。這個工作溫度指的是零下 220 攝氏度(-370 華氏度；50 開爾文)。 上圖中我們可以看出，韋伯望遠鏡的配置大致可分為兩部分：紅色較熱的一面溫度為 85 攝氏度，藍色較冷的一面溫度達到零下 233 攝氏度。紅色的這部分中，儀器包括太陽能板、通信設備、計算機、以及轉向裝置。藍色部分的主要裝置包括鏡面、探測器、濾光片等。Credit: STSci. 　　遮陽罩的那一部分和望遠鏡的鏡面這部分可以產生非常極端的溫差。遮陽的這面溫度可以達到 110 攝氏度，足以煮熟雞蛋，而背陰處的部分溫度極低，足以凍結氧氣。 　　工程師們剛剛完成了五層遮陽罩的測試，按照韋伯在 L2 時的運行狀態安裝了遮陽罩。L2 距離地球約 160 萬公里。NASA 表示這些測試使用了航天器的自帶系統來展開遮陽罩，測試目前都已成功完成。韋伯望遠鏡遮陽罩負責人 James Cooper 介紹說這是遮陽罩"第一次在望遠鏡系統的电子設備的控制下展開。儘管這個任務非常艱巨，難度高，但測試順利完成，遮陽罩展開時的狀態非常驚艷"。 　　遮陽罩由五層 Kapton 製成。Kapton 是一種聚酰亞胺薄膜材料， 耐高溫絕...
張貼留言
閱讀完整內容

LINE 發票管家「一鍵分享發票」新功能，聚餐AA更好算帳

» » LINE 發票管家「一鍵分享發票」新功能，聚餐AA更好算帳 消費明細好清楚，不怕算錯錢啦！ by in , 讀取中... 之前介紹過的「LINE 發票管家」，除了能對統一發票、管理消費紀錄，現在還能分享消費明細給其他朋友囉！趕快來看看該如何分享吧！讓大家在聚餐過後，不用再截圖、拍照把消費明細記錄下來分享到 LINE 好友群組，只要用 LINE發票管家就可以隨時一鍵分享消費明細，包括店家、消費時間、消費項目、金額通通都有，聚餐 AA 也更好算帳。 LINE 發票管家「一鍵分享發票」新功能，聚餐AA更好算帳 朋友聚餐完，經常會先由其中一位買單再事後收帳，不過難免擔心忘記拍照紀錄下消費明細，導致算帳變得很麻煩。但是，現在只要用 LINE發票管家，不僅能將發票存入載具後直接匯入發票，進而更方便管理每月的消費情況，現在還能用它來分享消費明細到 LINE 聊天室，不需要截圖，整個流程超級簡單！ ▲圖片來源： 當使用 LINE發票管家並且綁定載具後，只要日常消費有將發票存入載具就通通會自動匯入 LINE發票管家。如果想暸解自己近期的消費情況，也能在 LINE發票管家點選「發票明細」查詢所有消費紀錄。 ＊小提醒：存入手機條碼的發票，待財政部 1-2 日作業時間將發票資料匯入後， 打開單筆消費後分享到指定對象或群組。 像是朋友聚餐或其它購物消費，就能在 LINE發票管家查看每一筆消費的所有消費明細，每一項餐點的項目、價格通通一目了然。如果想將該筆消費內容分享給好友收帳，只要點選該筆消費明細後，接著點選畫面右上角的「分享」按鈕。 網頁設計 最專業,超強功能平台可客製,窩窩以「數位行銷」「品牌經營」「網站與應用程式」「印刷品設計」等四大主軸，為每一位客戶客製建立行銷脈絡及洞燭市場先機,請問 台中電動車 哪裡在賣比較便宜可以到台中景泰電動車門市去看看總店：臺中市潭子區潭秀里雅潭路一段102-1號。 電動車補助 推薦評價好的 iphone維修 中心擁有專業的維修技術團隊，同時聘請資深iphone手機維修專家，現場說明手機問題，快速修理，沒修好不收錢住家的頂樓裝 太陽光電 聽說可發揮隔熱功效一線推薦東陽能源擁有核心技術、...
張貼留言
閱讀完整內容