MSCBSC 移動通信論壇
搜索
登錄注冊
網(wǎng)絡優(yōu)化工程師招聘專欄 4G/LTE通信工程師最新職位列表 通信實習生/應屆生招聘職位

  • 閱讀:3228
  • 回復:4
案例——關于SR 2083774的故障處理報告
lovexxman
資深元老
鎵嬫満鍙風爜宸查獙璇? style=


 發(fā)短消息    關注Ta 

公益·慈善勛章  
積分 42199
帖子 719
威望 408352 個
禮品券 115 個
專家指數(shù) 171
注冊 2006-12-2
專業(yè)方向  無線
回答問題數(shù) 0
回答被采納數(shù) 0
回答采納率 0%
 
發(fā)表于 2009-01-01 00:48:13  只看樓主 

關于SR 2083774的故障處理報告



尊敬的福建移動客戶,
非常遺憾這次故障給您的網(wǎng)絡造成影響。接到您的故障報告后,我們立刻全力投入處理,力求在最快時間內(nèi)解決貴司的網(wǎng)絡問題。以下是針對這次故障處理的總結報告,供您參考:

SR :
2083774
客戶:
China Mobile; China; Fujian; Longyan
客戶聯(lián)系人:
Luo Xin ke
CNRC工程師:
Wang Yafei
網(wǎng)元:

XCDR 16
版本號:
1.7.6.0.17-t3
影響程度:



故障現(xiàn)象描述:
XCDR16215日凌晨3:21發(fā)生重啟。8分鐘后XCDR16重新啟動,恢復正常工作。

故障原因分析及解決方案:
通過檢查相關的event logBSP中保存的swfm記錄,我們發(fā)現(xiàn)在XCDR重啟前,系統(tǒng)報告了GCLK 0上的“Phase Lock Lost”“Hardware Fault Detected”的告警,之后ksw 0 0報告了“6.12 Second Reference Loss”的告警,告警如下所示:

#0-NOT APPL-*NONE*.
equipmentFailureEvent-GCLK-GCLK-XCDR16(XCDR16:SITE-0: 0 GCLK-GCLK 0-15/02/200603:21:13.
[4]Phase Lock Lost-FMIC-Major 0/5.
HW Version bh

Config Tag 800022
10 80 00 .


#0-NOT APPL-*NONE*.
equipmentFailureEvent-GCLK-GCLK-XCDR16(XCDR16:SITE-0: 0 GCLK-GCLK 0-15/02/200603:21:14.
[3]Hardware Fault Detected-FMIC-Major 0/5.

HW Version bh
Config Tag 800022
0F 10 90 10 .




#0-NOT APPL-*NONE*.
equipmentFailureEvent-KSW-DSW-XCDR16(XCDR16:SITE-0: 0 KSW-DSW0 0-15/02/200603:21:27.
[6]6.12 Second Reference Loss-FMIC-Investigate 0/27.
HW Version 0h-Kit No. SGLN6118DD-Device Serial No. 739Y4Z51NA


BSP 011ah由于以下的swfm重啟:
SWFM Log Entry
12



4f FATAL SWFM ERROR: SOFT RESET
Routine: select_tdm.c


4f Area: 0x00000300 Error: 0x00000011 PC: 0xc0044a64 PID: 0x42 (CA)


4f BSS Release: 1.7.6.f0.36 Obj Version: 1.7.6.0.17 Exec Version: 1.7.6.17.1


4f 15-Feb-2006 03:21:50.425 Subsystem: 0x01 CPU: 0x011a Board: GPROC2 RAM


4f CA error, Line = 240, thread = 11, Config Tag = 0x00800024


4f ENABLE of Entity = TDM[1,0,0], State = BUSY UNLOCKED NO REASON


4f No TBUS found INS for site: site reinit!!!



以上的swfm顯示BSP是由于沒有可用的TBUS而自動重啟的。TBUS總線是由KSW構成的一個邏輯設備,每個cage中都存在兩條TBUS總線。TBUS的狀態(tài)依據(jù)KSW的狀態(tài)而變化,也就是說KSW的狀態(tài)轉(zhuǎn)變將會影響TBUS上的設備通信。
對于KSW6號告警:“6.12 Second Reference Loss”這個告警指示KSW監(jiān)測到由于KSW的時鐘擴展錯誤導致在TDM總線上6.12 秒的時鐘參考源丟失。這個告警有可能是由于以下因素造成的:

1. GCLK時鐘源錯誤
2. KSW板自身的錯誤
3. 負責時鐘擴展的GCLKX 或者KSWX卡錯誤

因此由以上的eventswfm我們可以斷定此次XCDR重啟原因是由于KSW無法正常獲得時鐘信號造成的, KSW在失去時鐘信號后無法正常工作,使得cage 0中的兩條TBUS總線都退服。當BSP 在檢測到TBUS異常后自動重啟XCDR。

針對以上的分析,我們作出了如下建議
1.
更換GCLK 0
2.
GLCK 1 進行健康檢查,如果發(fā)現(xiàn)GCLK 1 工作異常,則對GCLK 1進行更換。
3.
同時檢查KSW狀態(tài),確認KSW工作正常。
4.
檢查KSW時鐘擴展支路的上的板件(GCLKX,KSWX和連接光纖)
現(xiàn)場工程師已經(jīng)根據(jù)CNRC建議于216日晚XCDR16 GCLKKSW故障硬件進行了更換和排查。在故障排查過程中,更換了GCLKKSW
5.
217凌晨的處理步驟:
1):首先查看GCLK的狀態(tài)是否是B-U
[17/02/06 00:06:43] MMI-RAM 011a -> state 0 gclk
* *


DEVICE STATUS INFORMATION FOR LOCATION 0:
OPER
STATES:
Disabled
E:Enabled
B:Busy

ADMIN STATES:
Locked
U:Unlocked
E:Equipped
S:Shutdown



Last Transition Related

Device
State Reason
dd/mm
hh:mm:ss Function

------------- ----- ------------------------- --------------- -------------
GCLK 0 0 0
B-U
GCLK Phase Locked
16/02
20:15:39 None

GCLK 1 0 0
E-U
GCLK Phase Locked
16/02
20:20:49 None


END OF STATUS REPORT
2):然后把主用的倒換到備用[17/02/06 00:07:04] MMI-RAM 011a -> swap 0 gclk
GCLK swap may cause alarms on other devices.
The swap may take approx. 10 seconds.
Are you sure (y=yes,n=no)? y
COMMAND ACCEPTED
3):再次查看GCLK是否有倒在備用上,備用的GCLK如果是B-U,則
[17/02/06 00:07:32] MMI-RAM 011a -> l 0 gclk 0 0
COMMAND ACCEPTED
[17/02/06 00:07:42] MMI-RAM 011a -> !s
state 0 gclk
* *


DEVICE STATUS INFORMATION FOR LOCATION 0:
OPER
STATES:
Disabled
E:Enabled
B:Busy

ADMIN STATES:
Locked
U:Unlocked
E:Equipped
S:Shutdown




Last Transition Related

Device
State Reason
dd/mm
hh:mm:ss Function

------------- ----- ------------------------- --------------- -------------
GCLK 0 0 0
E-L
GCLK in Set Freq. Mode
17/02
00:07:43 None

GCLK 1 0 0
B-U
GCLK Phase Locked
17/02
00:07:23 None


END OF STATUS REPORT
4):更換GCLK 0 0,復位GCLK 0 0,然后解鎖gclk 0 0
[17/02/06 00:07:45] MMI-RAM 011a -> unl 0 gclk 0 0

COMMAND ACCEPTED
解鎖gclk 0 0后等待GCLK 0 0的狀態(tài)E-U,且GCLK Phase Locked
5):多次SWAPGCLK,會出現(xiàn)以下告警:
[17/02/06 03:10:27] MMI-RAM 011a -> disp_act 0

ACTIVE ALARM INFORMATION FOR LOCATION 0:

Device
Alarm Clear


(Subtype)
Code Type Tag(hex) Date/Time
Description

-------------------- ---- ---- -------- ---------- ---------------------------
GCLK 0 0 0
3 FMIC Untagged 02-17-2006 Hardware Fault Detected


(GCLK)
02:22:54

KSW 0 1 0
6 FMIC Untagged 02-17-2006 6.12 Second Reference Loss


(DSW)

03:09:15

KSW 0 0 0
6 FMIC Untagged 02-17-2006 6.12 Second Reference Loss


(DSW)
03:09:05


END OF REPORT
ALARM CODE61~2分鐘會自動消除,上面有做解釋。
6):然后檢查KSW板件:device_audit 0 all ksw 0 0 0
[17/02/06 01:04:21] MMI-RAM 011a -> device_audit 0 all ksw 0 0 0

Device: KSW
Device id: 0 0 0


Year: 2006
Month: 2
Day: 17
Hour: 1
Min: 6
Sec: 24
MSec: 190


Audit Type: SAFE
Result: PASS


Device: KSW
Device id: 0 0 0


Year: 2006
Month: 2
Day: 17
Hour: 1
Min: 6
Sec: 24
MSec: 190


Audit Type: INT_LPBK
Result: PASS

同樣道理device_audit 0 all ksw 0 1 0Result都是PASS,但是CNRC同時建議兩塊KSW更換,也多次SWAP過了。
6):在GCLK 0 1E-U的狀態(tài)時,insGCLK 1 0同時會出現(xiàn)
[17/02/06 00:55:28] MMI-RAM 011a -> disp_act 0

ACTIVE ALARM INFORMATION FOR LOCATION 0:

Device
Alarm Clear


(Subtype)
Code Type Tag(hex) Date/Time
Description

-
Alarm Clear


(Subtype)
Code Type Tag(hex) Date/Time
Description

-------------------- ---- ---- -------- ---------- ---------------------------
GCLK 1 0 0
3 FMIC Untagged 02-17-2006 Hardware Fault Detected


(GCLK)
00:22:54

KSW 0 1 0
6 FMIC Untagged 02-17-2006 6.12 Second Reference Loss


(DSW)
00:55:19

KSW 0 0 0
6 FMIC Untagged 02-17-2006 6.12 Second Reference Loss


(DSW)
00:55:19


END OF REPORT
GCLK 1 0會出現(xiàn)3號告警,SWAP以后會消失。

建議:


請繼續(xù)密切監(jiān)測XCDR16運行情況,如發(fā)現(xiàn)異常及時和CNRC聯(lián)系。




歡迎您對我們的服務提出寶貴建議。如果您還需要提出其他網(wǎng)絡問題,請撥打我們的7x24小時服務熱線010-88417733/ 800-810-2672或發(fā)送電子郵件至asiacnrc@motorola.com。我們將竭誠為你服務。




謝謝您的支持與合作!


摩托羅拉電信運營方案部亞洲客戶支持中心

End of Doc
掃碼關注5G通信官方公眾號,免費領取以下5G精品資料
  • 1、回復“YD5GAI”免費領取《中國移動:5G網(wǎng)絡AI應用典型場景技術解決方案白皮書
  • 2、回復“5G6G”免費領取《5G_6G毫米波測試技術白皮書-2022_03-21
  • 3、回復“YD6G”免費領取《中國移動:6G至簡無線接入網(wǎng)白皮書
  • 4、回復“LTBPS”免費領取《《中國聯(lián)通5G終端白皮書》
  • 5、回復“ZGDX”免費領取《中國電信5G NTN技術白皮書
  • 6、回復“TXSB”免費領取《通信設備安裝工程施工工藝圖解
  • 7、回復“YDSL”免費領取《中國移動算力并網(wǎng)白皮書
  • 8、回復“5GX3”免費領取《 R16 23501-g60 5G的系統(tǒng)架構1
  • 對本帖內(nèi)容的看法? 我要點評

     
    [充值威望,立即自動到帳] [VIP貴賓權限+威望套餐] 另有大量優(yōu)惠贈送活動,請光臨充值中心
    充值擁有大量的威望和最高的下載權限,下載站內(nèi)資料無憂
    kmyr_007
    銀牌會員



     發(fā)短消息    關注Ta 

    積分 2685
    帖子 106
    威望 3969 個
    禮品券 0 個
    專家指數(shù) -4
    注冊 2008-7-21
    專業(yè)方向  網(wǎng)絡優(yōu)化
    回答問題數(shù) 0
    回答被采納數(shù) 0
    回答采納率 0%
     
    發(fā)表于 2009-03-15 19:37:36 
    沙發(fā),謝謝分享啊

    對本帖內(nèi)容的看法? 我要點評

     
    [立即成為VIP會員,百萬通信專業(yè)資料立即下載,支付寶、微信付款,簡單、快速!]
    nanzhengke
    VIP會員
    鎵嬫満鍙風爜宸查獙璇? style=


     發(fā)短消息    關注Ta 

    積分 9890
    帖子 592
    威望 34939 個
    禮品券 16 個
    專家指數(shù) -15
    注冊 2008-12-7
    專業(yè)方向  3G
    來自 上海
    回答問題數(shù) 0
    回答被采納數(shù) 0
    回答采納率 0%
     
    發(fā)表于 2009-03-16 00:05:13 
    樓主能不能打包成word供大家回去研究研究啊 功德無量

    對本帖內(nèi)容的看法? 我要點評

     
    最新通信職位:廣東通信人才網(wǎng) | 北京通信人才網(wǎng) | 上海通信人才網(wǎng) | 南京通信人才網(wǎng) | 西安通信人才網(wǎng) | 重慶通信人才網(wǎng) | 中國通信人才網(wǎng)
    knight17
    高級會員



     發(fā)短消息    關注Ta 

    積分 2133
    帖子 45
    威望 634 個
    禮品券 0 個
    專家指數(shù) 1
    注冊 2009-2-16
    專業(yè)方向  無線網(wǎng)絡優(yōu)化
    回答問題數(shù) 0
    回答被采納數(shù) 0
    回答采納率 0%
     
    發(fā)表于 2009-03-16 08:02:42 
    不會這么巧吧,我們這里昨天晚上也有1個XCDR重啟了,8分鐘后恢復,但是有個cage沒起來,再次重啟XCDR后才恢復正常。

    對本帖內(nèi)容的看法? 我要點評

     
    熱點: 通信招聘職位 | 網(wǎng)絡優(yōu)化全集 | WCDMA精品 | TD-SCDMA學習資料 | EVDO | MGW媒體網(wǎng)關資料
    yaohao830716
    中級會員



     發(fā)短消息    關注Ta 

    積分 1039
    帖子 7
    威望 261 個
    禮品券 0 個
    專家指數(shù) 0
    注冊 2009-2-10
    專業(yè)方向  通信技術
    回答問題數(shù) 0
    回答被采納數(shù) 0
    回答采納率 0%
     
    發(fā)表于 2009-03-16 09:17:56 
    謝謝分享 謝謝分享 謝謝分享

    對本帖內(nèi)容的看法? 我要點評

     
    最新通信職位:廣東通信人才網(wǎng) | 北京通信人才網(wǎng) | 上海通信人才網(wǎng) | 南京通信人才網(wǎng) | 西安通信人才網(wǎng) | 重慶通信人才網(wǎng) | 中國通信人才網(wǎng)

    快速回復主題    
    標題
    內(nèi)容
     上傳資料請點左側【添加附件】

    當前時區(qū) GMT+8, 現(xiàn)在時間是 2025-01-09 18:51:20
    渝ICP備11001752號  Copyright @ 2006-2016 mscbsc.com  本站統(tǒng)一服務郵箱:mscbsc@163.com

    Processed in 0.432733 second(s), 20 queries , Gzip enabled
    TOP
    清除 Cookies - 聯(lián)系我們 - 移動通信網(wǎng) - 移動通信論壇 - 通信招聘網(wǎng) - Archiver