【資料名稱(chēng)】：話務(wù)統(tǒng)計(jì)數(shù)據(jù)不入庫(kù)問(wèn)題原因分析

【資料作者】：al

【資料日期】：2009

【資料語(yǔ)言】：中文

【資料格式】：DOC

【資料目錄和簡(jiǎn)介】：

話務(wù)統(tǒng)計(jì)數(shù)據(jù)不入庫(kù)問(wèn)題原因分析
1. 問(wèn)題描述
OSS服務(wù)器1從6月5日開(kāi)始數(shù)據(jù)不能正常入庫(kù)，部分?jǐn)?shù)據(jù)不能入庫(kù)，到6月7日凌晨4：00，所有統(tǒng)計(jì)數(shù)據(jù)停止入庫(kù)。
2. 問(wèn)題分析
? 檢查SYBASE數(shù)據(jù)庫(kù)ERROR LOG發(fā)現(xiàn)自2009年6月5日凌晨2：00開(kāi)始至2009年6月8日早上9：00系統(tǒng)一直在報(bào)告如下錯(cuò)誤：
00:00000:00012:2009/06/05 02:10:04.44 serverError: 1601, Severity: 17, State: 3 0:00000:00012:2009/06/05 02:10:04.44 serverThere are not enough 'user connections' available to start a new process. Retry when there are fewer active users, or ask your System Administrator to reconfigure ASE with more user connections.
00:00000:00145:2009/06/05 02:10:04.54 serverError: 1601, Severity: 17, State: 7 0:00000:00145:2009/06/05 02:10:04.54 serverThere are not enough 'user connections' available to start a new process. Retry when there are fewer active users, or ask your System Administrator to reconfigure ASE with more user connections.
該錯(cuò)誤的含義為SYBASE服務(wù)器所配置的用戶(hù)連接被占用完畢，若有新的進(jìn)程或應(yīng)用需要連接SYBASE數(shù)據(jù)庫(kù)，服務(wù)器將無(wú)法建立連接。
? 檢查數(shù)據(jù)入庫(kù)進(jìn)程的LOG發(fā)現(xiàn)在上述SYBASE ERROR期間有如下ERROR：
CT-LIBRARY error:
ct_connect(): network packet layer: internal net library error: Net-Library operation terminated due to disconnect
該錯(cuò)誤的含義為連接數(shù)據(jù)庫(kù)失敗。
? 檢查數(shù)據(jù)入庫(kù)的相關(guān)進(jìn)程，發(fā)現(xiàn)某些進(jìn)程吊死，數(shù)據(jù)入庫(kù)不正常。
3. 問(wèn)題結(jié)論
根據(jù)上述日志的分析，可以看出，SYBASE數(shù)據(jù)庫(kù)的連接被突然大量占用，導(dǎo)致連接資源沒(méi)有空閑，從而引起數(shù)據(jù)入庫(kù)進(jìn)程無(wú)法建立與數(shù)據(jù)庫(kù)的連接，而吊死。最終造成數(shù)據(jù)停止入庫(kù)。
4. 解決方法
在解決該問(wèn)題時(shí)，SYBASE數(shù)據(jù)庫(kù)連接的錯(cuò)誤已消失，將吊死的數(shù)據(jù)入庫(kù)進(jìn)程殺掉后重啟sdm應(yīng)用后系統(tǒng)恢復(fù)。
#ps –ef|grep sdm
#kill -9 xxxx(xxxx為進(jìn)程號(hào))
#smtool coldrestart sdm
5. 解決該問(wèn)題是發(fā)現(xiàn)的系統(tǒng)不正常情況
登錄到SYBASE數(shù)據(jù)庫(kù)中檢查發(fā)現(xiàn)如下現(xiàn)象：
? SYABSE中有很多非本系統(tǒng)使用的程序或進(jìn)程連接到數(shù)據(jù)庫(kù)操作話務(wù)統(tǒng)計(jì)數(shù)據(jù)庫(kù)（csddb）,登錄所用帳號(hào)sa。相關(guān)程序情況如下：
1> sp_who sa
2> go
fid spid statusloginame origname hostnameblk_spid dbname tempdbname cmdblock_xloid
--- ---- ---------- -------- -------- --------- -------- ------ ---------- ---------------- -----------
028 recv sleep sa sa NULL 0 csddbtempdb_saAWAITING COMMAND0
084 recv sleep sa sa NULL 0 csddbtempdb_saAWAITING COMMAND0
092 recv sleep sa sa NULL 0 csddbtempdb_saAWAITING COMMAND0
0107 recv sleep sa sa NULL 0 csddbtempdb_saAWAITING COMMAND0
0109 recv sleep sa sa NULL 0 csddbtempdb_saAWAITING COMMAND0
0118 recv sleep sa sa NULL 0 csddbtempdb_saAWAITING COMMAND0
0144 recv sleep sa sa NULL 0 csddbtempdb_saAWAITING COMMAND0
0150 recv sleep sa sa NULL 0 csddbtempdb_saAWAITING COMMAND0
0195 recv sleep sa sa NULL 0 csddbtempdb_saAWAITING COMMAND0
0274 recv sleep sa sa NULL 0 csddbtempdb_saAWAITING COMMAND0
0285 recv sleep sa sa NULL 0 csddbtempdb_saAWAITING COMMAND0
0299 recv sleep sa sa NULL 0 csddbtempdb_saAWAITING COMMAND0
0312 recv sleep sa sa NULL 0 csddbtempdb_saAWAITING COMMAND0
0351 recv sleep sa sa NULL 0 csddbtempdb_saAWAITING COMMAND0
0454 recv sleep sa sa NULL 0 csddbtempdb_saAWAITING COMMAND0
0530 recv sleep sa sa NULL 0 csddbtempdb_saAWAITING COMMAND0
(16 rows affected)
(return status = 0)
? 這些進(jìn)程有時(shí)會(huì)吊死數(shù)據(jù)庫(kù)的某些資源，如sp_lock命令顯示的情況，造成數(shù)據(jù)庫(kù)異常。手動(dòng)殺死這些進(jìn)程后，會(huì)自動(dòng)重新建立一個(gè)到數(shù)據(jù)庫(kù)的連接。
1> sp_lock
2> go
fid spidloidlocktypetable_id pagerow dbname classcontex
t
------ ------ ----------- ---------------------------- ----------- ----------- ------ --------------- ------------------------------ ------
----------------------
084168 Sh_intent 56419402900 csddbCursor Id 5505027

0 107214 Sh_intent 56419402900 csddbCursor Id 7012365

0 109218 Sh_intent 56419402900 csddbCursor Id 7143426

0 119238 Sh_intent 92452729600 master Non Cursor Lock

0 285570 Sh_intent 56419402900 csddbCursor Id 18677762

0 351702 Sh_intent 56419402900 csddbCursor Id 23003137

(6 rows affected)
(return status = 0)
? 檢查這些程序的相關(guān)信息，發(fā)現(xiàn)這些吊死進(jìn)程都來(lái)自主機(jī)10.217.82.87
1> select * from sysprocesses where spid in (84,107,109,285,351)
2> go
spidkpid loggedindatetimeipaddr
---------------------------------------------------------------- ------
84515506620Jun 8 2009 5:55PM 10.217.82.87107469959005Jun 8 2009 5:35PM 10.217.82.87109516030498Jun 8 2009 5:56PM 10.217.82.87285516096189Jun 8 2009 5:56PM 10.217.82.87351516882659Jun 8 2009 5:57PM10.217.82.87
(5 rows affected)
? 這些非系統(tǒng)自身的程序?qū)ο到y(tǒng)的安全存在危險(xiǎn)，因當(dāng)前系統(tǒng)的各種配置是按Ericsson服務(wù)器所要支持的應(yīng)用和程序來(lái)定義的，這些外來(lái)程序會(huì)占用系統(tǒng)資源，從而影響服務(wù)器本身進(jìn)程對(duì)系統(tǒng)資源的使用，同時(shí)，在這些程序運(yùn)行異常時(shí)，服務(wù)器本身無(wú)法對(duì)其進(jìn)行管理和修復(fù)，當(dāng)出現(xiàn)沖突時(shí)，必會(huì)影響系統(tǒng)的正常工作。

[ 本帖最后由 laomaoyixin 于 2011-5-18 14:26 編輯 ]