Thursday, June 22, 2006

拒絕服務

已經第四天了,系統還是在『上線中』。

一路上不停的踢到鐵版。

資料轉移在延誤兩天之後順利結束,大家興奮極了,急忙把系統放上去打開來玩。其實第一天的資料轉移是個警訊,是系統強度的縮影。會延誤兩天不是沒有原因的,上線後幾分鐘,就看到CPU利用率暴增,IO暴增,連線逾時被踢出去的問題。這是我這輩子第一次親眼看到Denial of Service拒絕服務。原本大家興奮的心情一瞬間盪到谷底,開始悶著頭找問題。基本上這就像是你開了一家超市,員工就位,收銀機起動,但卻因為顧客太踴躍,大家還沒有到門口就互相踐踏掛掉了。任憑你店裡再美,員工再好,進不來就是進不來。

老實講我以為大家會像我以前的單位那樣,靜靜地看這我們計畫死掉。然而這七天,全公司相關的主管都動員起來,輪流照顧我們的伙食,一天一夜後,我們重寫了三分之一的stored procedures,系統開始有了起色。OS/400對我來講完全是個神秘的系統,還好公司裡的專家們不停的進來我們戰情報告室幫忙,十二個小時不停的輪班分析是IO太重還是CPU太重,甚至還請出了幾個原廠資料庫的設計大師出來解題,所以幾乎每天都看得到成長。兩個DBA輪流上陣抓瓶頸,兩個系統管理員輪流坐鎮,還有兩個作業系統專家輪流調整設定,更不用說我們程式開發小組全天候待命了。

在最艱困的那幾天,一頭白髮的副總裁在半夜驅車來IT部門為我們加油。每一次重新起動就是一次新記錄。七天後,我們的系統終於百分之百運轉上線。我從來不知道一個計畫的成功背後會有這麼多的力量,除了感謝,還是感謝。真的很幸運,能與這樣的同事一起工作。

No comments: