旅好きおやじの日記 TOP  >  情報システム >  ネットワーク負荷テストによる事故

ネットワーク負荷テストによる事故

先月、会社のネットワークが30分間にわたって混み、様々なシステムに影響
が出る事故が発生した。

私はシステムの運用部門にいるので、こういう現象が発生すると、今やって
いる仕事の手を止めて当たらなければならない。

まず、ネットワークがつながらな無いという情報が来て、そのうちにある
ルータやL3スイッチのCPU負荷が90%以上の状態になっているなどの情報
が私の部門に集まってくるのである。

最近の性能の良いルータやL3スイッチで90%ものCPU負荷を食うというのは、
かなりの異常事態なのだが、誰かが連続してPingを実行しているのではな
いかという推測が立てられたのである。

調べてみると、ある部門のベテランシステム設計者が自分のアプリケー
ションのボトルネックを調べるために、ネットワークツールを使いパケット
を流し続けていたのだという。

しかも、データセンターにあるサーバから自分のパソコンに対してPingを
打つというテストをしたものだから、ツールの実行ボタンを押した瞬間、
自分のパソコンからはどうすることもできなくなり、その担当者が、気付き
ネットワーク部門に泣きついて、ネットワーク部門は迂回経路によりその
サーバからの通信を遮断してことが収まったという。

この事故による影響として、オンライン処理が使えなくなるのはもちろん
のこと、データ連携などが異常終了したり、作りの悪いシステムがハング
したりと、事後処理が大変な作業が発生し、3時間に渡る混乱をきたした。

ツールを使った担当を聴取し、ネットワークツールの画面を見てみると、
そのツールのデフォルト値である、「UDPパケット」を「無制限」に送る
という状態でパケットを投げたためということがわかった。

これがTCPパケットにしていたら、相手とのコネクションもはるし、輻輳
制御もされていたので、ちょっと遅いなというレベルで済んでいたのだが、
UDPだとコネクションもはらず、パケットを投げまくり、輻輳制御もないの
でネットワークが詰まってしまったのである。

ネットワークが詰まるだけならまだしも、L3スイッチのCPU負荷も高くなっ
たものだから、VLANで分けられ論理的には関係もない、同じL3スイッチ
を使っている他のネットワークにも影響が出て、全社的な大混乱となって
しまったのである。

ネットワーク部門の部門長の会議では、このことをみんな寄ってたかって
非難していた。
「TCPパケットも、UDPパケットもわからないレベルの低い人間がベテラン
 ということ、しかも、システムを設計しなければならないほど、人材不足は
 深刻になってきていると。」

私は黙っていたが、心のなかでこう思った。

「いやいや、システム系のエンジニアはネットワークなんかあまり意識し
 しないよ。
 インフラは意識するが、サーバに対してであり、サーバのCPU、メモリ、
 ディスクと、ミドルウェアのメモリ領域の使い方ぐらいで、ネットワーク
 パケットのTCPやUDPの違いなんか、普通知らないぞ。」

インフラエンジニアにとって当たり前のことでも、非インフラエンジニアは
そんなこと知らなくても、仕事はできる。

結局、インフラ部門と非インフラ部門の垣根が高い、縦割りのセクショナ
リズムがあることが原因だと思うのだが、そんなことを言っても、解決策
もないし、ただ言うだけだと私が吊るしあげられるだけなので、何も言わ
なかった。

これだから、日本の組織というのはなかなか良くならないのである。
スポンサーサイト


最後まで読んで頂きありがとうございます。こちらを押していただけると嬉しいです!!
↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓
にほんブログ村 オヤジ日記ブログへ
コメントの投稿












管理者にだけ表示を許可する
カテゴリ

openclose

プロフィール

旅好きおやじの日記

Author:旅好きおやじの日記
職業はIT関係です。
趣味は海外旅行(22カ国制覇)、読書、資格取得です。
取得した資格は以下のとおりで、半分趣味のようになってます。

・情報処理
 ・ITストラテジスト
 ・システム監査
 ・プロジェクトマネージャ
 ・アプリケーションエンジニア
 ・テクニカルエンジニア(システム管理)
 ・テクニカルエンジニア(データベース)
 ・ネットワークスペシャリスト
 ・エンベデッドシステムスペシャリスト
 ・情報セキュリティアドミニストレータ
 ・情報処理一種
 ・情報処理2種
 ・情報セキュリティマネジメント
 ・ITパスポート
・元PMP
・ITIL V3 Foundation
・Oracle Master Gold
・日商簿記1級
・建設業経理士1級
・英検2級

最新記事
カレンダー
プルダウン 降順 昇順 年別

10月 | 2017年11月 | 12月
- - - 1 2 3 4
5 6 7 8 9 10 11
12 13 14 15 16 17 18
19 20 21 22 23 24 25
26 27 28 29 30 - -



ブクログ
楽天
アクセスランキング
[ジャンルランキング]
日記
642位
アクセスランキングを見る>>

[サブジャンルランキング]
会社員・OL
136位
アクセスランキングを見る>>
検索フォーム
人気ブログランキング
ブロとも申請フォーム