LAN meltdown初体験。

ネットワークが急に激しく重くなって使えなくなった。ゴミパケットで溢れてしまったらしい。ソフトウェアファイアウォールなんか入れてるのでPCも重くなって何もできない。ユーザから電話がかかりまくる。更に本社がメンテナンスをアウトソースしてるもんだから、「WANのルータやファイアウォールが急に反応しなくなったんだけどなんかあった？」という妙にのんびりしたインドなまりの電話が入りまくる。USのoffshoringをちょっと実感。
インド人たちを適当にあしらってサーバルームへ行ってみると、すべてのスイッチのLEDが壊れそうな勢いで点滅していて出来の悪いホラー映画みたいだとちょっと思った。気を取り直してなんとかネットワークを覗いてみたら、DCやらDHCPサーバやらを求めてさまようARPパケットの嵐になっていた。やっぱりどこかで大量のゴミパケットが出て輻輳が生じていることはわかったのだけど、僕の乏しい知識ではそれ以上の原因は不明。しばし途方に暮れる。
しょうがないので非常に原始的な手段で問題を切り分けることにした。コアのスイッチからケーブルをひとつずつ抜いていき怪しい下流スイッチを特定、更にその下流のスイッチから同じ手順で怪しいホストを特定。この方法を思いつくまでに15分くらいかかってしまった（実行には1分もかからなかった）。現場から離れるとダメだなあと実感。たぶん昔だったら真っ先に思いついて（というか考えるまでもなく）実行していたように思う。ていうか時間かかったのはくそ忙しいなか電話かけまくってきたあのインド人たちのせいかもしれない。そうだそうだそういうことにしよう。
で、結局原因は安物L2スイッチの暴走と判明。電源入れなおしたらあっさり回復。このスイッチは腹を切って死ぬべきだと激しく思った。ていうか今から地獄の火の中に投げ込みます。
ということで本日の教訓。もっと英語を勉強しよう。特にインドなまり。正直何言ってるか全然わからんかった。わはは。