[しみず]

ただ今調査対応中。３時間以内の復旧予定。

[しみず]

サーバー自体ではなく、データセンター内のネットワーク障害が原因の模様。
引き続き調査対応中。

[しみず]

データセンターの電源設備の障害が原因の模様ですので、対応作業中。
６時間以内の復旧予定に変更します。

[しみず]

H1 データセンターの変圧器に火災が発生したため、消防署の指導で、現在、バックアップ用電源もすべて停止して、ただいま対応中です。
＊結果的に H1 データセンターに設置しているサーバーマシンへは全て接続不能状態。

Today at approximately 5:45 p.m., a transformer in our H1 data center in Houston caught fire, thus requiring us to take down all generators as instructed by the fire department. All servers are down.

We are working with the fire department, with our facilities staff on site, to assess the situation.

To keep you updated, we will send messages every 15 minutes in Orbit and here in our forum.

[しみず]

サーバー自体は、すべて正常なのを確認しましたが、
今回、変圧器火災のため、バック電源を停止していますので、対応策を検討中です。

We have determined that no servers in the data center have been damaged. Nonetheless, they are down because power is out. Teams across the board are working to take appropriate action.

We will continue to keep you updated.

[しみず]

電源火災以外は、ネットワーク系統に、特に問題はありませんので、引き続き、緊急対応チームが復帰のための対応策を検討中。

In our latest assessment, we have determined that networking gear has not been damaged, but we are without power so assessments continue. All disaster recovery systems are in motion, and we have teams already working in the data center.

[しみず]

復旧予定時間は６時間以内の予定でしたが、２４時間以内と変更します。　引き続き、早期復旧に向けて、作業中。

[しみず]

１時間以内に、現状をレポート予定。

[しみず]

引き続き、最善の対策を協議中です。最新情報が分かり次第、掲載します。

The senior managers are still meeting about the incident. I will update the thread as soon as I speak with them.

[しみず]

以下、最新の状況説明、要約です。

日本時間午前７時ごろ、H1データセンターで電源設備がショートが起こり
爆発および火災が発生、電源設備室のドアが吹き飛びましたが、人身事故はなく、
また、サーバーへの物理的な障害はありませんでした。

高圧電源ケーブルでショートが発生した模様

現在、物理的な損害状況を調査するために施設内への立ち入りを許可されましたが、
消防当局の指導でバックアップ用発電機の起動を制限されています。

今回の火災事故で、影響を受けているサーバー数は「約９０００台」にのぼる、最大規模の事故です。

ただいま、関係者全員で対応に当たっており、
米国中央時間、日曜日正午、日本時間で、★月曜日の午前３時頃までに、復旧予定となります。


ご迷惑をおかけして、誠に申し訳ございません。

引き続き、最新状況が分かり次第、この掲示板でレポートいたします。

原文は次の通り
This evening at 4:55pm CDT in our H1 data center, electrical gear shorted, creating an explosion and fire that knocked down three walls surrounding our electrical equipment room. Thankfully, no one was injured. In addition, no customer servers were damaged or lost.

We have just been allowed into the building to physically inspect the damage. Early indications are that the short was in a high-volume wire conduit. We were not allowed to activate our backup generator plan based on instructions from the fire department.

This is a significant outage, impacting approximately 9,000 servers and 7,500 customers. All members of our support team are in, and all vendors who supply us with data center equipment are on site. Our initial assessment, although early, points to being able to have some service restored by mid-afternoon on Sunday. Rest assured we are working around the clock.

We are in the process of communicating with all affected customers. we are planning to post updates every hour via our forum and in our customer portal. Our interactive voice response system is updating customers as well.

There is no impact in any of our other five data centers.

I am sorry that this accident has occurred and I apologize for the impact.

[しみず]

引き続き復旧作業を実施中です。　

今回、合計５つある大規模施設の内、1つの施設で火災事故が発生したわけですが、

以下、詳細説明です。

次のネームサーバーを担当しているＤＮＳマシンが、火災事故発生施設で運営されていました。
ns1.ev1servers.net
ns2.ev1servers.net
ns5.ev1servers.net
ns6.ev1servers.net

結果的に、
１．火災事故が有った施設に設置されているサーバーマシン、
２．他の施設に設置されているが、ＤＮＳサーバーが事故にあっているため接続できない状態になっているマシン。

と接続不能の原因は大きくは、２つに分かれています。

ping してＩＰアドレスが返ってくるマシンは事故が起こっていない施設にありますので、ＤＮＳサーバーが稼働開始すると接続開始するはずですが、
自分が利用している接続プロバイダのＤＮＳ情報更新時間の違いによって、接続開始時間はまちまちにあると思います。

現在、事故のあった施設で運営していたメインのＤＮＳサーバーを別施設に移動して、復旧作業を実行中です。


最新情報、は次の通り、あと数時間後には、火災事故が有った施設にあった、ＤＮＳサーバーを別施設で稼働開始予定　＊several hours ですので、５，６時間程度ですか。
Our various departments continue to work very hard to restore service to our H1 data center. We expect to have ServerCommand access restored within the next several hours as well as access to single homed nameservers out of H1 redirected to another facility.

We will continue to provide status updates once an hour. We do not have an Estimated Time to Repair at present.

１時間に１度程度の割合で、作業状況をお知らせしますが、まだ、正確な全復旧時間は未定です。　月曜日午前３時頃復旧を予定。

[しみず]

DNSサーバーというのは、ドメイン名の名前解決をするためサーバーです。＝データセンターが管理しているサーバー
通常のユーザーが利用しているサーバーではありません。

今回、ＷＥＢ、メールサーバー自体は移動しません。現状ままです。

火災にあった電源設備が復旧できれば、ディスクエラーなどの点検作業後、接続開始できるはずです。

それと、
復旧予定時間は月曜日午前3時頃ですが、先述通り、今のところ「予定」であり、決定事項でありませんので、正確には「未定」です。
復旧に必要な資材確保がどの程度早くできるかにかかっていますので、現状では、確実な回答ができません。

引き続き最新情報は、分かり次第、この掲示板でご案内します。

[しみず]

ＤＮＳサーバー
ns1.ev1servers.net
ns2.ev1servers.net
ns5.ev1servers.net
ns6.ev1servers.net

を管理しているマシンについては、稼働中のデータセンター家屋に移動して
鋭意復旧作業中、ＤＮＳサーバーは3時間程度でオンラインになる予想です。


火災事故が発生したデータセンターの電源設備復旧については、必要な機材を調達中で
絶対確実な復旧時間は、未定です。

ただ、分かっている限り、初期段階での予想　日本時間午前３時頃の予定というのは、
まだ有効です。大幅な変更が起こりえる場合、再度お知らせします。

Our UNIX and development team continue to work to restore service to both ServerCommand and EV1 DNS. Based on current information, 4 of the 8 DNS servers are in service and we expect the remaining DNS servers to come online within the next 180 minutes. The same approx. time line holds true for ServerCommand. The server farm has been relocated to another data center and development is currently working on bringing the services back online.


In terms of the facility, we do not have a firm ETR at the moment. Facilities continues to work with our on-site vendors to acquire replacement equipment and get it installed to bring service back online.

We do not have an Estimated Time to Repair at present. Our staff and management continue to work through the night and we will continue to provide hourly updates.


To the best of my knowledge and the information currently available to me, the initial estimate of mid-afternoon on Sunday still remains true. If we see or expect a deviation from the above, we'll be certain to notify you as soon as possible.

[しみず]

日本時間２１時現在、事故現場で電源復旧の為の各種作業を開始しました。

ev1のＤＮＳサーバーについては、120分分程度で動作開始予定。

確実な復旧時間は未だ未定ですが、
日本時間午前12時までには、復旧予想時間を、より正確にお知らせ出来ると思います。
＊現在の復旧予定時間は、月曜日午前3時頃です。


火災及び爆発事故の復旧作業には、

１．事故現場に壊れた機材の撤去。
２．バックアップ用機材を含めて、新しいスイッチング機材の設置
３．複数の高圧ケーブルの設置
４．被害を受けている無停電装置の設置

などが含まれますので、単純な作業ではありませんが、幸いにも、電源関係の被害にとどまっています。

We are continuing to work through various issues this morning. We will have additional contractors on-site this morning starting at approx. 7 AM. Some will hand-off from contractors who worked overnight and others will start the recovery/installation of new electrical gear to power the data center.

We are still working through the EV1 DNS and ServerCommand items. We are making progress on both items and expect to have both functional within the next 120 minutes.

In addition to the above, the network engineering group worked overnight to prepare the network for the recovery of H1. We expect the reconvergence of the network to go smooth once H1 comes back online.

We do not have an Estimated Time to Repair at present; we should have a better estimate this morning. Our staff and management continue to work through the night and morning-- we will continue to provide hourly updates.



It does depend on a huge number of factors, however I do not have a report on the status of each of those factors at this time. Thus, I am unable to provide an accurate ETA.

First, our vendors have to remove all of the damaged equipment.
We've got to locate and have installed new switching gear and new backup switching gear.
Multiple high volume conduits have to be installed to reconnect this gear to the utility power, the generators, and the UPS equipment.
New transformers have to be installed.
Repairs to parts of the UPS systems have to be made.

This isn't a simple one-wire-got-cut issue, we had an explosion which took out alot of gear and the backup gear.

Luckily, the extent of the physical damage was limited to the power gear.

[しみず]

23時現在、新しい情報はありません。