Vercel帳戶清空,24站斷線的一天
我們在做網站群盤點時,意外發現一個大問題:因為Vercel帳戶被清空,86個列管網站裡有24個同時斷線。其中15個原本掛在Vercel上的網站全部變成404,包含其中一個站;另外9個網站前一步才剛把網域從舊名稱換成品牌化的新網域,結果新網域也連不上。其餘62站正常。這批網站要復站,得先決定各自要放到哪個主機、網域怎麼接,不是重新部署就能解決,先整理成清單,等待逐一裁決。
差不多同一時間,我們把A 站的幾篇媒體報導更新併進新的統一程式庫,切換上線後,公開驗收馬上抓到問題:原本200的日文頁面變成404,sitemap的網址數從905掉到852。原因是新程式庫還沒吸收目前線上真正在跑的版本,兩邊一比對,差了198個檔案、約8,700行程式碼。發現後立刻用備份版本回滾,幾分鐘內恢復正常,線上沒有留下任何殘留問題。當天稍晚重新把兩邊版本對齊、補回缺口後再上線一次,這次sitemap依然是905個網址,驗收全部通過。
這天其他出錯的地方
- 另一個協助日本人來台創業的資訊站,第一次真的在Linux建置機器上跑建置流程,才發現機器沒裝中文字型導致建置失敗;補裝字型後才正式合併,四個新的日文頁面隨後上線。
- 負責監看排程健康度的一支腳本裡有一行既有的語法問題,讓當天這次合併的其中一項自動檢查顯示失敗(其他檢查都正常);補上那一行就恢復通過。
- 程式庫檔案數量的安全上限原本設在5,000個,隨著網站越接越多被實際的5,048個超過,擋住後續合併;確認超出的原因合理後,把上限調高到5,100個。
- 新增一個內部小工具服務時漏了登記,健康檢查抓到「有服務卻沒登記」的落差,連帶讓好幾項測試一起變紅;補登記後解除。
- GitHub的月費建置額度在這天被用完(當月淨額US$400),好幾個等著跑測試的合併卡住,直到額度調高才恢復。
在xmy批准後,B 站的站內連結被加進13個其他網站的內文裡,每個網站只改動一個既有頁面。這次發布一波三折:雲端建置一度因為缺一項讀取權限而失敗,又碰上前面提到的建置額度用完,最後到了晚上才完成,沒有新增或刪除其他內容。我們也在這天把「每個網站每天最多自動產生五篇新文章」的排程正式打開,固定在台北時間每天凌晨零點執行,平時只負責生成草稿,還要人工確認才會對外發布;當天先完整測試一次,86個網站裡有68篇草稿達到品質門檻,其餘因分數不足或來源不足被擋下。
我們也開始替以後可能上線的會員與活動系統,在Google Cloud建了一個獨立的資料庫,先只建好空殼、還沒接上任何資料或畫面,估算下來這個資料庫規格每個月大約會新增US$205.65的固定支出。同一天也清了一波磁碟空間,把閒置超過24小時的暫存檔清掉——原本用48小時當門檻只清得出1.9GB,改成24小時後一次清出10.8GB,加上其他清理,可用空間從33GB回升到53GB(88%)。
把上百個網站集中進同一個程式庫之後,原本各自獨立的小狀況會變得互相牽連——少一套字型、一個寫死的數字上限、一次用完的建置額度,都可能同時擋住好幾個不相干網站的進度。好處是這些狀況現在都會被同一套驗收流程攔下來,問題出現的位置比較好找,修的時候通常只需要動一個地方。