五月女商会御中

​

サオトメガネサイト障害のご報告

2013年3月2日

株式会社TORAshu(チーム1)

1.概要

　本日発生いたしましたサオトメガネサイトの障害について、現状のご報告させていただきます。

​

◆障害発生時刻

　・2013年3月2日00:20頃 、サーバ再起動が発生

◆障害検知方法

　・監視アラートメールにてサーバ再起動を検知

　・2013年3月2日13:30頃、早乙女商会ご担当者様よりお問い合わせの電話もいただきました。

◆障害内容

　・お問い合わせいただいたのちにサイトへアクセスしたところ、Top画面の"おすすめ商品情報"画像エラーが表示されておりました。

　・その後、徐々にサイトの動作が重くなり、2013年3月2日 14:30頃サイト表示ができなくなりました。

​

2.障害発生状況

◆時系列

00:20　システム再起動

13:30　早乙女商会様よりシステム再起動の入電

14:00　サイト閲覧不可、システムにログイン不可、メモリ不足のエラー

14:40　メンテナンスページの準備開始

14:47　弊社にてシステム再起動、サイト閲覧・決済可能となる＜一時復旧＞

　※SSHアクセス復旧致しました。　後日、調査致します

15:30　原因不明のシステム再起動発生。WEBサーバ再起動後、決済エラー発生

　※原因はクローンが30分ごとに走っていたため　後日、調査致します

15:45 TVCM放映後のアクセス増加に伴うWEB/LBのスペック増強

16:20 メンテナンスページを表示

　※現在調査継続中

3.対応状況

​

◆対応状況

　メモリー不足が発生しておりましたので、早乙女商会ご担当者様より承認をいただき、WEB・DBサーバのスペックを拡張したことで一時的にサイトが復旧したものの、再度サーバの再起動が発生し、決済が完了できない状態となりました。

現在は、メンテナンスページを表示しております。

　16時のテレビ放映までの復旧を目指しておりましたが、実現できず誠に申し訳ございません。引き続き調査を進めさせていただき、本日中に再度調査状況をご報告させていただきます。

4.トラブルの原因

現状、詳細原因の特定にまではいたっておりませんが、

以下のことがわかっております。

​

◆ アクセス上昇によるシステム負荷の上昇

システムのログを確認しましたところアクセスが急上昇した形跡があり、

それによって現状スペックではメモリの確保が困難となり、

一部プログラム強制終了した形跡がございました。

​

決済ができなくなった件につきましては現在引き続き調査を行なっております。

ご迷惑をお掛けし大変申し訳ございませんが、

今しばらくお待ちいただきたく思います。

​

​

5.今後の対応/方針につきまして

　貴社サイトの正常な状態を把握できておらず、障害発生原因の特定に時間をかけてしまいました。今後はサイトの負荷状況を定期的に確認し、事前に対策をとれるようにいたします。

​

また、休日のアクセス数が増加していること、および、今後も定期的にテレビCM放映が実施されることを想定し、システム構成の見直しをご提案させていただきます

​

※方針につきまして、次のページに記載しております。

5.1 現在のNW構成図

初期投資費用を抑えた構成となっていります。

5.2 今後対応後のNW構成図

TVCM放映・メンテナンス対応ため、WEBサーバおよびLBの増強をご提案致します。

※TVCM放映はLBの最大トラフィック量(2000Mbps)を増加し、膨大なアクセスに耐えられる構成に致します。

5.2.1 詳細

現状の構成では、休日のアクセスに耐えられないことが判明しました。

​

そのため、構成を見直していただき、柔軟な冗長化が取れるようにWebとDBを分離及びロードバランサの追加をされることを推奨いたします。

​

ご提案させて頂いた構成にすることで、より柔軟なシステム構成変更が行え、今回のように急激なアクセスが想定される場合、データの整合性を保ちつつ、Webサーバの追加を行うことが可能となります。

​

また、当システム外部に公開されているサーバのため、年1回程度のメンテナンス（セキュリティパッチ適用作業）を行うことを推奨いたします。

メンテナンスを行うことにより、よりセキュリティの高い運用を行うことが可能となります。

（メンテナンス中は3～6時間程度システム停止を伴います。）

​

また、定期的にリソースのモニタリングを推奨します。

​

6.費用につきまして

対応後のインフラ費用

・100,380円/月を想定しています。（※2013年3月現在）

​

テレビ放映時・メンテナンス時等増加するインフラ費用

・1時間当たり2,230円20銭追加で発生します。

（昨年11月にテレビ放映された際の構成となります。）

​

構築想定時間

・1時間程度を想定しています。

今回の事態により、貴社様に多大なご迷惑をお掛け致しましたことを存じます。

謹んで、心からのお詫びを申し上げます

　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　敬具