Laatste informatie ons terrein in Straatsburg

Roubaix, Frankrijk | 18-03-2021

Laatste informatie ons terrein in Straatsburg

Strasbourg datacentre: latest information

Roubaix, France | 18 March 2021 - 16:30 (CET)

Customer information:

1. Service Status

  • In the OVHcloud Control Panel, each affected customer can view the status of their services located in Strasbourg (SBG) - as detailed in the FAQ.
  • The OVHcloud Community platform is now available to interact with community members and support you.
  • By following the security protocol defined for on-premises operations: the restart will be carried out room by room, aisle by aisle and rack by rack.
  • Procedures for restarting services will be communicated to affected customers as details become available in the coming days.
  • Real-time monitoring of the restart of SBG by room and planned rack is available at: status.ovh.com/vms/sbg.

2. Commercial actions

  • At the beginning of the week, all customers concerned received a communication on the commercial measures that will be applied to their situation. For customers who have not received the email, a procedure has been indicated in the FAQ.

3. Plan of action

Priority 1: restoring services to SBG1, SBG3 and SBG4

  • Status summary for each datacentre

Datacentre

Situation

Electrical restart

Network restart

Server restart

SBG-1

Datacentre operational.

 

Accomplished

Accomplished

First racks tested with success.

Handover to the customer today with visibility of the status in their OVHcloud Customer Control Panel.

SBG-2

Building non-operational.

Site secured.

 

 

Replacement of infrastructure in other datacentres: Gravelines (GRA), Roubaix (RBX), London (LON), Warsaw (WAW), Frankfurt (FRA)

SBG-3

Datacentre operational.

 

Servers undamaged.

 

 

 

Accomplished

 

Accomplished

Test today on one rack and if conclusive provisional estimate for Friday 19 March for a progressive restart of the services.

SBG-4

Datacentre operational.

 

All floors and servers undamaged.

Accomplished

 

 

Accomplished

 

Provisional ETA: Monday, 22 March for gradual restart of services.

 

  • 136 people are mobilised on premises today
    • The team rotation schedule for the coming weekend has been established.
  • Cleaning of site:
    • Cleaning teams are active in SBG1 and SBG3 in all affected areas.
    • Some of the servers in SBG3 require specific cleaning prior to their return to service. We have started this process.

Priority 2: Provisioning of infrastructure for our customers in other datacentres

  • For customers who have been impacted, we are offering replacement infrastructures (Bare Metal, Hosted Private Cloud and Public Cloud) in our other datacentres in Gravelines (GRA), Roubaix (RBX), Londres (LON), Warsaw (WAW), and Frankfurt (FRA).
  • We are committed to providing nearly 15,000 new servers to our customers in the coming weeks.
  • Update on quantities delivered since 10th March:

CLOUD UNIVERSE

PRODUCTS

 

QUANTITY

Bare metal

Bare metal

Servers

4519

 

NAS HA

TB

246

Public Cloud

VPS

VM

12353

Hosted Private Cloud

Host

Servers

485

 

Datastore

Number of zpool

522

 

 

Volume of TB

3067

  • 400 servers will be produced today.

Due to the current demand, delivery times on our Bare Metal services may be longer than usual. Our teams are fully mobilised, and we are working hard to deliver to our customers as quickly as possible, especially all affected customers.

On the other hand, Public Cloud, Web Cloud and VPS services are being delivered as normal in all datacentres. 

Priority 3: Implementing all DRP (Disaster Recovery Plan) mechanisms with our customers

  • Our Support teams and Technical Account Managers are in contact with our customers and have set up a support plan for customers who have not yet activated their DRP.

Communications

  • The OVHcloud Community platform is now available to interact with community members and support you.
  • An FAQ is available here.
  • To follow updates about this situation in real time:
    • Our main communication tool remains "Task Status"
    • Status videos are available here:

- FR : https://twitter.com/olesovhcom/status/1371908744775360518

- EN : https://twitter.com/olesovhcom/status/1371934994751500288

Our mission remains to provide our customers with the highest quality of service, to support their online business.  and we know how important this is to them. We sincerely apologise any inconveniences related  this situation An investigation into the cause is underway. Whatever the cause of the incident, OVHcloud is currently evaluating potential technical and operational measures to bring solutions to all affected customers.

All of our communication channels, including our incident tracking platform, can be accessed so that you can stay informed of developments in real time.

-----------

17 March 2021 - 16:30 (CET)

Customer information:

1. Service Status

  • Octave Klaba, founder of OVHcloud, has released a new video on the situation in Strasbourg (SBG).
  • In the Control Panel, each affected customer can view the status of their services located in Strasbourg (SBG) - as detailed in the FAQ.
  • The OVHcloud Community platform is now available to interact with community members and support you.

By following the security protocol defined for on-premises operations: restarting will be carried out room by room, aisle by aisle and rack by rack.

  • Procedures for restarting services will be communicated to affected customers as details become available in the coming days.
  • Real-time monitoring of SBG restart by room and planned rack via: status.ovh.com/vms.
  • Progressive updates to the status page for services and backups in Strasbourg (SBG), from today onwards, accessible via the FAQ.
  • Updating and tracking the percentage of services restarted per datacentre scheduled in the “Task Status” interface in the coming days.
  • A new order form has been set up (for Bare Metal Cloud) to offer concerned customers services similar to those they had at the Strasbourg (SBG) site.

2. Commercial actions

  • All concerned customers received, at the beginning of the week, a communication on the commercial measures that will be applied to their situation. For customers who have not received the email, a procedure has been indicated in the FAQ.
  • For each customer concerned:
    • A billing suspension notification for the month of March has been added in the Customer Control Panel.
    • Commercial actions have been indicated, the details of which will be communicated this week.

3. Plan of action

Priority 1: restoring services to SBG1, SBG3 and SBG4

  • Status summary for each datacentre

Datacentre

Situation

Electrical restart

Network restart

Server restart

SBG-1

4 of 12 rooms were damaged

 

- Rooms 61AD/62AD: servers not affected

- Rooms 61E/62D: cleaning of servers underway

- Restored power to datacentre

 

- Backbone: reconnected

- Redeployment of the local network (Cabling finalised this Wednesday) and configuration today

 

 

A rack was tested today and if conclusive a provisional estimate of Friday, 19 March for a gradual restart of services after cleaning and drying servers.

 

SBG-2

Building out of use Site secured

 

 

Replacement of infrastructure in other data centres: Gravelines (GRA), Roubaix (RBX), London (LON), Warsaw (WAW), Frankfurt (FRA)

SBG-3

Servers undamaged

 

 

 

- Restored power to datacentre

 

 

- New network power restored

- Redeployment of the local network this Wednesday 17th March (Cabling finalised).

 

Test tomorrow on a rack and if conclusive a provisional estimate of Friday, 19 March for a gradual restart of services.

SBG-4

All floors and servers were spared

- Restored power to datacentre

 

Redeployment of the local network carried out.

Provisional ETA: Monday, 22 March for gradual restart of services.

 

  • 116 people are mobilised at the premises today
  • Network redeployment: 
    • The SBG1, SBG3 and SBG4 datacentres will be connected to the network tonight.
  • Watercooling:
    • The entire system is operational in the SBG1/SBG3/SBG4 datacentres.
  • Cleaning of site:
    • Intensive mobilisation (24/24).
    • SBG1: finalisation of cleaning Wednesday, 17th March.

Priority 2: providing infrastructures in other datacentres for our affected customers

  • For customers who have been impacted, we are offering replacement infrastructures (Bare Metal, Hosted Private Cloud and Public Cloud) in our other datacentres in Gravelines (GRA), Roubaix (RBX), Londres (LON), Warsaw (WAW), and Frankfurt (FRA).
  • We are committed to providing nearly 15,000 new servers to our customers in the coming weeks. Update on quantities delivered since 10th March:

CLOUD UNIVERSE

PRODUCTS

 

QUANTITY

Bare metal

Bare metal

Servers

4200

 

NAS HA

TB

276

Public Cloud

VPS

VM

11998

Hosted Private Cloud

Host

Servers

434

 

Datastore

Number of zpool

466

 

 

Volume of TB

2950

 

  • 400 servers will be produced today.

Due to the current demand, delivery times on our Bare Metal services may be longer than usual. Our teams are fully mobilised, and we are working hard to deliver to our customers as quickly as possible, especially all affected customers.

On the other hand, Public Cloud, Web Cloud and VPS services are being delivered as normal in all datacentres. 

Priority 3: Implementing all DRP (Disaster Recovery Plan) mechanisms with our customers

  • Our Support teams and Technical Account Managers are in contact with our customers and have set up a support plan for customers who have not yet activated their DRP.

Communications

- FR: https://twitter.com/olesovhcom/status/1370045226929299461

- EN: https://twitter.com/olesovhcom/status/1370045891806175232

Our mission remains to provide our customers with the highest quality of service, to support their online business.  and we know how important this is to them. We sincerely apologise any inconveniences related  this situation An investigation into the cause is underway. Whatever the cause of the incident, OVHcloud is currently evaluating potential technical and operational measures to bring solutions to all affected customers.

All of our communication channels, including our incident tracking platform, can be accessed so that you can stay informed of developments in real time.

-------

16 March 2021 - 16:00 (CET)

Customer information:

1.  Service Status

  • Progressive updates to the status page for services and backups in Strasbourg (SBG), from today onwards, accessible via the FAQ.
  • Monitoring of the % of service restarts per datacentre to be displayed in the "Travaux" interface in the coming days. Restarts will be carried out room by room, aisle by aisle and rack by rack.
  • Finalized procedures for restarting services will soon be communicated to customers.

2. Commercial actions

  • For each customer concerned:
    • A billing suspension notification for the month of March has been added in the Customer Control Panel.
    • Commercial actions have been indicated, the details of which will be communicated this week.

3. Plan of action

Priority 1: restoring services to SBG1, SBG3 and SBG4

  • Status summary for each datacentre

Datacentre

Situation

Electrical restart

Network restart

Server restart

SBG-1

4 of 12 rooms were damaged

 

- Rooms 61AD/62AD: servers not affected

- Rooms 61E/62D: cleaning of servers underway

- Power restored

- Damaged UPS have been checked and are being replaced

- Backbone: temporary connection to SBG on 15th March

- LAN redeployment and configuration today

 

 

Provisional ETA: Monday, 22 March for gradual restart

SBG-2

Building out of use. Structural expertise carried out. Site secured.

 

 

 

 

Infrastructure replacement in other data centres Gravelines (GRA), Roubaix (RBX), London (LON), Warsaw (WAW), Frankfurt (FRA)

SBG-3

Servers undamaged

 

 

- Power restored today

- All inverters are operational

 

 

- New network room powered up today

- Redeployment of the local network on 17th March

Provisional ETA: Monday, 22 March for gradual restart

 

 

SBG-4

All floors and servers were spared

Power restored today

 

Redeployment of the local network today

Provisional ETA: Monday, 22 March for gradual restart

 

  • 101 people are mobilised and on premises
  • Network redeployment:
    • SBG connection to the backbone today (alternative routes to Paris and Frankfurt underway)
    • Reconnection of buildings and rooms:
      • Fibre optic redeployment in progress 
      • Configuration underway
  • Watercooling:
    • The entire system is operational.
  • Cleaning of site:
    • Intensive mobilisation (24/24).

Priority 2: Provisioning of infrastructure for our customers in other datacentres

  • For customers who have been impacted, we are offering replacement infrastructures (Bare Metal, Hosted Private Cloud and Public Cloud) in our other datacentres: Gravelines (GRA), Roubaix (RBX), Londres (LON), Warsaw (WAW), Francfort (FRA).
  • We are committed to providing nearly 15,000 new servers to our customers in the coming weeks. Update on quantities delivered since 10th March:

CLOUD UNIVERSE

PRODUCTS

 

QUANTITY

Bare metal

Bare metal

Servers

3939

 

NAS HA

TB

242

Public Cloud

VPS

VM

10731

Hosted Private Cloud

Host

Servers

372

 

Datastore

Number of zpool

393

 

 

Volume of TB

2704

 

  • 350 servers will be produced today.

Priority 3: Implementing all DRP (Disaster Recovery Plan) mechanisms with our customers

  • Our Support teams and Technical Account Managers are in contact with our customers and have set up a support plan for customers who have not yet activated their DRP.

Communications

- FR: https://twitter.com/olesovhcom/status/1370045226929299461

- EN: https://twitter.com/olesovhcom/status/1370045891806175232

Our mission remains to provide our customers with the highest quality of service, to support their online business and we know how important this is to them. We sincerely apologise for any inconveniences related to this situation. An investigation into the cause is underway. Whatever the cause of the incident, OVHcloud is currently evaluating potential technical and operational measures to bring solutions to all affected customers.

All of our communication channels, including our incident tracking platform, can be accessed so that you can stay informed of developments in real time.

-------

15 March 2021 - 17:00 (CET)

Customer information:

1 - Server status

  • The status page for services and backups in Strasbourg (SBG) is now available in the FAQ.
  • For VPS service, a question about “zone vs datacentre (SBG)” has been added for clarification in the FAQ.

2 - Commercial actions

  • For each customer concerned:
    • A billing suspension notification for the month of March has been added in the Customer Control Panel.
    • Commercial actions have been indicated, the details of which will be communicated this week.

3 - Action plan

Priority 1: restoring services to SBG1, SBG3 and SBG4

  • Status summary for each datacentre

 

Datacentre

Situation

Electrical restart

Network restart

Server restart

SBG-1

4 of 12 rooms were damaged

Temporarily repowered on 13th March and will be restored permanently on 16th March

- Backbone: temporary connection to SBG on 15th March

- Internal network to be redeployed on 16th March

Provisional ETA: Monday, 22 March

for gradual restart

SBG-2

Building out of use

Structural expertise carried out.  Site secured

 

 

Replacement of infrastructure in other datacentres

SBG-3

Servers undamaged

Temporarily repowered on 12th March and will be restored permanently on 16th March

- New network room to be deployed and powered on 16th March

- Internal network to be redeployed on 17th March

Provisional ETA: Monday, 22 March

for gradual restart

SBG-4

Servers undamaged

Power to be restored on 16th March

- Internal network to be redeployed on 16th March

Provisional ETA: Monday, 22 March

for gradual restart

 

  • 111 people are dedicated on-site to connecting network and electricity units (in rotation, 24/24), for: 
  • Power redeployment:
    • The electrical installations required to restart SBG1/SBG4 have been verified.
    • The high-voltage power supply for SBG3 is deployed and operational.
    • Inverter re-commissioning protocol underway today (verification of all UPS).

 

  • Network redeployment:
    • The SBG1 network room is being tested.
    • The new network room is being completed and will be supplied with electricity as soon as the inverters are verified.
    • The installation of the network equipment will be finalised this evening.
    • The connection of the backbone is scheduled for tomorrow.
    • The local network is being redeployed.

 

  • The cleaning of any soot in the SBG3 server rooms will begin on Tuesday, 16 March. The clean-up teams have arrived on site and are beginning deployed.

 

Priority 2: providing infrastructures in other datacentres for our affected customers

  • For customers who have been impacted, we are offering replacement infrastructures (Bare Metal, Hosted Private Cloud and Public Cloud) in our Roubaix (RBX) and Gravelines (GRA) datacentres.
  • We are committed to providing nearly 15,000 new servers to our customers in the coming weeks.
  • 500 servers will be produced today.

 

  • Update on quantities delivered since 10th March:

CLOUD UNIVERSE

PRODUCTS

 

QUANTITY

Bare metal

Bare metal

Servers

3658

 

HA-NAS

TB

220

Public Cloud

VPS

VM

8903

Hosted Private Cloud

Host

Servers

328

 

Datastore

Number of zpool

361

 

 

Volume of TB

2598

 

Priority 3: Implementing all DRP (Disaster Recovery Plan) mechanisms with our customers

  • Our Support teams and Technical Account Managers are in contact with our customers, and have set up a support plan for customers who have not yet activated their DRP.

Communications

- FR: https://twitter.com/olesovhcom/status/1370045226929299461

- EN: https://twitter.com/olesovhcom/status/1370045891806175232

 

Our mission remains to provide our customers with the highest quality of services to support their online activities, and we know how important this is to them. We sincerely apologise for the problems caused by this incident. An investigation into the cause is underway. Whatever the cause of the incident, OVHcloud is currently evaluating potential technical and operational measures to bring solutions to all affected customers.

All of our communication channels, including our incident tracking platform, can be accessed so that you can stay informed of developments in real time.

-----------

14 March 2021 - 15:00 (CET)
 

Customer information:

1 - Server status

  • A page has been created listing the backups of services hosted in Strasbourg (SBG) managed by the customer or by OVHcloud along with their status, which will be available in the FAQ within the next few hours.
  • For Public Cloud and VPS customers, a question about “zone vs datacentre (SBG)” has been clarified in the FAQ today.

2 - Commercial actions

  • All affected customers will be notified about their suspended March bill in their Control Panel.
  • Details on how these measures will be implemented will be sent next week, and will also apply to March bills for impacted services that were already issued before 10th March.

3 - Action plan:

Priority 1: restoring services to SBG1, SBG3 and SBG4

  • Status summary for each datacentre

 

Datacentre

Situation

Electrical restart

Network restart

Server restart

SBG-1

4 of 12 rooms were damaged

Temporarily repowered on 13/03 and will be restored permanently on 17/03

- Backbone: temporary connection to SBG on 15/03

- Internal network to be redeployed on 17/03

Provisional ETA: Monday, 22 March

for gradual restart

SBG-2

Building out of use

 

 

Replacing infrastructures in other datacentres

SBG-3

Servers undamaged

Temporarily repowered on 12/03 and will be restored permanently on 16/03

- New network room to be deployed and powered on 16/03

- Internal network to be redeployed on 17/03

Provisional ETA: Monday, 22 March

for gradual restart

SBG-4

Servers undamaged

Power will return permanently on 17/03

Internal network to be redeployed on 17/03

Provisional ETA: Monday, 22 March

for gradual restart

 

  • A team of 60 people is working on site to connect mobile network and electricity units (working in rotation, 24 hours a day)
    • Cabling in progress.
    • Connection planned for tonight.
  • The drying out of the SBG3 buildings will be finished tonight.
  • The cleaning of any soot in the SBG3 server rooms will begin on Tuesday, 16 March.
  • The cooling system is operational :
    • Water cooling is protected from the cold weather (forecast locally on Thursday, 18 March and Friday, 19 March).
    • The pumps are operational.
  • Priority 2: providing infrastructures in other datacentres for our affected customers
     
  • For customers who have been impacted, we are offering replacement infrastructures (Bare Metal, Hosted Private Cloud and Public Cloud) in our Roubaix (RBX) and Gravelines (GRA) datacentres.
  • We are committed to providing around 15,000 new servers in the coming weeks.
  • Update on quantities delivered since 10th March:

 

Statement

 

  • Priority 3: Implementing all DRP (Disaster Recovery Plan) mechanisms with our customers
    • Our Support teams and Technical Account Managers are in contact with our customers, and have set up a support plan for customers who have not yet activated their DRP.

Communications

- FR: https://twitter.com/olesovhcom/status/1370045226929299461

- EN: https://twitter.com/olesovhcom/status/1370045891806175232

 

Our mission remains to provide our customers with the highest quality of services to support their online activities, and we know how important this is to them. We sincerely apologise for the problems caused by this fire. We will continue to communicate with the utmost transparency about the cause of the fire and its consequences.

An investigation is ongoing. Whatever the cause of the incident, OVHcloud is currently evaluating potential technical and operational measures to bring solutions to all affected customers.

All of our communication channels, including our incident tracking platform, can be accessed so that you can stay informed of developments in real time.

-----------

13 March 2021 - 16:00 (CET)
 

Customer information:

1 - Server Status

  • We have sent emails to all our customers informing them of the status of their services.

2 - Commercial actions

  • Billing has been suspended for Strasbourg (SBG) datacentre customers from the date of the incident.
  • Commercial measures have been set out to each affected customer.
  • Details on how these measures will be implemented will be sent next week, and will apply in particular to March bills for impacted services that were already issued before 10th March.
  • We have updated the FAQs.

 Our three priorities are as follows:

  • Priority 1: restoring services to SBG1, SBG3, and SBG4
  • Priority 2: providing infrastructures in other datacentres for our affected customers
  • Priority 3: Implementing all DRP (Disaster Recovery Plan) mechanisms with our customers

Action plan:

Priority #1:

  • Status summary for each datacentre

Datacentre

Situation

Electrical restart

Server restart

SBG-1

4 of 12 rooms were damaged

From Monday, 15 March

Progressive restoration of undamaged servers by Monday, 22 March

SBG-2

Building out of use

Audit and inventory of premises

Replacing infrastructures in other datacentres

SBG-3

Servers undamaged

Tests for the high voltage supply will be carried out this weekend.  Provisional restart on 15th March

A progressive restart of all services is estimated from Monday, 22 March.

 

SBG-4

Servers undamaged

Scheduled for Monday, 15 March

A progressive restart of all services is estimated from Monday, 22 March.

 

 

  • Mobile high-voltage network and electricity units arrived at the Strasbourg site today at 12pm.
  • 60 experts are currently working on site (in rotation over the weekend) in four teams, with the following missions:
  1. Team 1 (network) is tasked with connecting the mobile network unit and testing the network room in SBG1
  2. Team 2 (electricity) is working on high-voltage electricity connections
  3. Team 3 (electricity) is working on low-voltage electricity connections
  4. Team 4 is working on protecting and restoring the cooling systems

The aim is to reconnect, repower and restart the backbone access network from Monday, 15 March (following the authorisation of the ESR (Électricité de Strasbourg Réseaux)).

To repower the site:

  • Two generators have been rented since 11th March to power the temporary office.
  • One additional generator was rented to recharge the batteries of our generators following their activation during the incident.

 

  • Several service providers are currently working on site (30 people)
    • The water on the floor of the SBG3 building has been cleaned up
    • The SBG3 building is currently being dried out, which should be completed by Sunday evening
    • The cleaning of any soot in the server rooms of SBG3 will begin on Monday.
       
  • Repair of the damaged cooling system:
    • A crane has arrived on site.

Priority #2:

  • For customers who have been impacted, we are offering replacement infrastructures (Bare Metal, Hosted Private Cloud and Public Cloud) in our Roubaix (RBX) and Gravelines (GRA) datacentres.
     
  • We are committed to providing around 15,000 new servers in the coming weeks.
     
  • Update on quantities delivered since 10th March:
•	Update on quantities delivered since 10/03

Priority #3:

  • Backup mechanisms:
    • An overview of all backup mechanisms will be published in the FAQ today.
    • For Public Cloud and VPS customers, questions about “zone vs datacentre (SBG)” will be clarified in the FAQ today.
    • An ad hoc mechanism is in place to help our customers set up their DRP system.

Communications

- FR: https://twitter.com/olesovhcom/status/1370045226929299461

- EN: https://twitter.com/olesovhcom/status/1370045891806175232

Our mission remains to provide our customers with the highest quality of service, to support their online business. And we know how important this is to them. We sincerely apologise for the problems caused by this fire. We will continue to communicate with the utmost transparency about the cause of the fire and its consequences.

An investigation is ongoing. Whatever the cause of the incident, OVHcloud is currently evaluating potential technical and operational measures to bring solutions to all affected customers.

All of our communication channels, including our incident tracking platform, can be accessed so that you can stay informed of developments in real time.

------

12 maart 2021 - 14.00 uur (CET)
 

Klanteninformatie:

  • Octave Klaba, oprichter van OVHcloud, heeft video's met de huidige status van de situatie online geplaatst:

FR : https://twitter.com/olesovhcom/status/1370045226929299461

EN : https://twitter.com/olesovhcom/status/1370045891806175232

  • We zullen onze klanten vandaag per e-mail op de hoogte brengen van de status van hun services. We hebben ook een ondersteuningsteam opgezet om hen 24 uur per dag, 7 dagen per week te ondersteunen.

Onze drie prioriteiten zijn:

  • Prioriteit 1: services herstellen in SBG1, SBG3 en SBG4
  • Prioriteit 2: onze klanten infrastructuren bieden in onze niet getroffen datacenters
  • Prioriteit 3: samen met onze klanten alle DRP-mechanismen (Disaster Recovery Plan) implementeren.

Prioriteit 1: services herstellen in SBG1, SBG3 en SBG4

  • De diagnose en inventarisatie gaan door.
  • De beschadigde gebouwen worden momenteel schoongemaakt en gerepareerd om de veiligheid van onze teams te garanderen.
  • Het schuim werd opgeruimd en het water op de straat is weggepompt. De tank van het hydraulische circuit is schoongespoeld.
  • Alle langeafstand-glasvezelverbindingen van het netwerk zijn operationeel.
  • SBG1 is gedeeltelijk beschadigd (4 van de 12 ruimtes):
    • De netwerkruimte werd gisteren gecontroleerd. Dit weekend is een elektrische test, geïsoleerde en zonder verdere verbindingen, gepland. Geschat herstel van connectiviteit: begin volgende week.
    • Het opstarten van het elektriciteitsnet wordt voorlopig geraamd op maandag 15 maart.
    • De servers worden één voor één gecontroleerd en gereactiveerd.
  • SBG3 bleef gespaard
  • Aan het einde van deze week zal er een netwerkruimte worden opgezet om aan het begin van de week van 15 maart operationeel te zijn.
  • Dit weekend zullen hoogspanningstests worden uitgevoerd. Voorlopige schatting voor het herstel van de elektrische voeding: maandag 15 maart.
  • Verwacht wordt dat alle services geleidelijk zullen worden opgestart vanaf maandag 22 maart.
  • SBG4 bleef gespaard van de brand
    • We zullen ons plan voor het opnieuw in gebruik nemen eind deze week voltooien.

Alle getroffen E-Mail Pro-diensten zijn deze donderdag 11 maart vanaf 16.55 uur hersteld. Er zijn geen e-mails verloren gegaan.

Prioriteit 2: onze klanten infrastructuren bieden in onze niet getroffen datacenters

  • We bieden getroffen klanten een vervangende infrastructuur (Bare Metal, Hosted Private Cloud en Public Cloud) in de datacenters in Roubaix (RBX) en Gravelines (GRA).
  • We hebben het volgende al geleverd aan onze getroffen klanten:
    • Woensdag 10 maart: 2100 nieuwe servers;
    • Donderdag 11 maart: 630 nieuwe servers
  • Sinds vrijdag 12 maart in de ochtend is de nieuwe organisatie van onze assemblagelijnen operationeel. Deze maakt een verdrievoudiging van de productiecapaciteit (3 000 tot 4 000 servers per week mogelijk).
  • Wij streven ernaar om in de komende weken ongeveer 15 000 nieuwe servers te produceren.
  • De leveringstermijnen voor de nieuwe services worden zo spoedig mogelijk bekendgemaakt.

Prioriteit 3: samen met onze klanten alle DRP-mechanismen (Disaster Recovery Plan) implementeren.

  • Onze supportteams en de Technical Account Managers zullen aan het eind van de week een supportplan opstellen voor onze klanten die hun DRP nog niet hebben geactiveerd.

Communicatie

- FR : https://twitter.com/olesovhcom/status/1370045226929299461

- EN : https://twitter.com/olesovhcom/status/1370045891806175232

Het blijft onze missie om onze klanten de hoogste kwaliteit dienstverlening te bieden ter ondersteuning van hun online activiteiten. We weten hoe belangrijk dit voor hen is. Wij verontschuldigen ons oprecht voor de problemen die door dit incident zijn veroorzaakt. We zullen met de grootst mogelijke transparantie blijven communiceren over de oorzaak van de brand en de gevolgen ervan.

Er wordt een onderzoek uitgevoerd. Ongeacht de oorzaak van het incident beoordeelt OVHcloud momenteel de mogelijke technische en operationele maatregelen om oplossingen te leveren aan de getroffen klanten.

Al onze communicatiekanalen, te beginnen met ons platform voor incidentbewaking, zijn beschikbaar om u realtime op de hoogte te houden van de ontwikkeling van de situatie.

-------

11 maart 2021 - 15.30 uur (CET)
 

Teams:

  • Onze HR-teams zijn vandaag ter plaatse gekomen om de teams te ondersteunen die op de locatie werken.
  • Er is ter plaatse een tijdelijk bureau ingericht.
  • Andere industriële en technische teams van OVHcloud zijn ter versterking aangekomen om hun specifieke expertise in te zetten.
  • We hebben het personeel op de Franse productielocatie (Croix) met interne vrijwilligers aangevuld om het actuele productieplan en de extra werkdruk die het incident in Straatsburg met zich meebrengt, aan te kunnen.
  • De serverproductie wordt uitgevoerd tijdens verlengde werkuren en in het weekend.

 

Productie en Datacenters:

  • We zijn begonnen onze klanten een vervangingsinfrastructuur (dedicated servers, Private Cloud en Public Cloud) in de datacenters in Roubaix en Gravelines aan te bieden.
  • Om aan de vraag tegemoet te komen, is het de bedoeling om in de komende 48 uur extra assemblagelijnen te implementeren om onze productiecapaciteit te verdrievoudigen.

 

Op het terrein in Straatsburg:

  • Diagnose en inventarisatie worden vandaag uitgevoerd
  • Het schoonmaken en repareren van beschadigde gebouwen is in volle gang om een veilige omgeving voor onze teams te garanderen.
  • Het verwijderen van het schuim en het wegzuigen van het water op straat is gebeurd. Het waterreservoir zal vandaag worden leeggezogen.
  • SBG2 moet vrijwel volledig worden herbouwd.
  • SBG1 is zwaar beschadigd.
    • Netwerkruimte SBG1 - Ruimte behouden volgens de voorlopige controle. ETA: begin volgende week)
    • Voorlopige ETA voor elektriciteit = maandag 15 maart
    • De volgende dagen worden de servers na controle stuk voor stuk geactiveerd.
  • Voor SBG4: voorlopige controles hebben geen problemen aan het licht gebracht. Het doel is nu om de elektriciteit in week 12 te herstellen en alle diensten geleidelijk te herstellen.
  • SBG3 is niet getroffen door de brand. Het doel is om de stroom en het netwerk in week 12 te herstellen en alle diensten geleidelijk te herstellen.

 

Onze drie prioriteiten zijn:

 

  1. Infrastructuren in onze andere datacenters reserveren voor getroffen klanten: in Roubaix en Gravelines hebben we een voorraad nieuwe servers, die op het punt staan aan het merendeel van de getroffen klanten te worden geleverd. We zullen de beschikbaarheid in deze datacenters verder verhogen door de komende paar weken bijna 10000 nieuwe servers te produceren. De procedure wordt zo spoedig mogelijk aan de betroffen klanten medegedeeld.

 

  1. De locatie veilig maken. We hebben nu toegang. We zullen het schoonmaken en vervolgens de elektriciteit en het netwerk voor de drie getroffen datacenters herstellen.

 

  1. Samen met onze klanten blijven evalueren wat de impact is op hun services in de betreffende datacenters om de beste oplossingen te vinden.
     

Aanvullende acties die OVHcloud ondernomen heeft:

Netwerk:

  • Alle glasvezelverbindingen die het datacenter binnenkomen zijn OK.
  • Alle bestellingen zijn gedaan bij diverse leveranciers - ETA's om ter plaatse te ontvangen is 11 maart.

Communicatie:

Het is onze missie om onze klanten de beste service te bieden ter ondersteuning van hun online activiteiten en we weten hoe belangrijk dat voor hen is. Wij verontschuldigen ons oprecht voor de problemen die door deze brand zijn veroorzaakt. We zullen met de grootst mogelijke transparantie blijven communiceren over de oorzaak van de brand en de gevolgen ervan.

Er wordt een onderzoek uitgevoerd. Ongeacht de oorzaak van het incident beoordeelt OVHcloud momenteel de mogelijke technische en operationele maatregelen om oplossingen te leveren aan de getroffen klanten.

Al onze communicatiekanalen, te beginnen met ons platform voor incidentbewaking, zijn beschikbaar om u realtime op de hoogte te houden van de ontwikkeling van de situatie.

Een FAQ is hier al beschikbaar.

Contact voor de pers: press@ovhcloud.com

--------------

10-03-2021 - 21.00 u.(CET)

De feiten op een rij:

  • Woensdag 10 maart 2021 om 0.47 uur is brand uitgebroken in SBG2, één van de 4 datacenters van OVHcloud in Straatsburg. 
  • De brand was aan het begin van de ochtend onder controle.
  • Er zijn geen gewonden gevallen.
  • De brand heeft bovenal het SBG2-datacenter verwoest en heeft gedeeltelijk het SBG1-datacenter beschadigd (4 van de 12 ruimtes zijn buiten gebruik). De brand heeft de andere twee OVHcloud-datacenters in Straatsburg niet bereikt; de SBG3- en SBG4-servers zijn momenteel uitgeschakeld, maar zijn niet beschadigd.
  • Het terrein is niet als Seveso-site geclassificeerd. 
  • De oorzaak van de brand wordt onderzocht en er is een onderzoek ingesteld in opdracht van de autoriteiten.

De acties die OVHcloud heeft ondernomen:

  • De technische en commerciële teams zijn sinds deze ochtend gemobiliseerd om onze klanten te informeren en de onbeschikbaarheid van onze site in Straatsburg op te vangen.
  • Octave Klaba, oprichter van het bedrijf, is sinds vanochtend ter plaatse, samen met de industriële en technische teams.
  • Om in realtime de ontwikkeling van de situatie te volgen:
  • Travaux-taak: http://travaux.ovh.net/?do=details&id=49484
  • Twitter: https://twitter.com/OVHcloud_FR
  • Vanaf morgen zal verdere communicatie naar klanten en een "FAQ" beschikbaar zijn.
  • Om vragen van klanten beter af te kunnen handelen, raden we hun aan tickets aan te maken op onze website of ons helpcenter te raadplegen.

Onze drie prioriteiten zijn:

    1. Infrastructuren in onze andere datacenters reserveren voor getroffen klanten: in Roubaix en Gravelines hebben we een voorraad nieuwe servers, die op het punt staan aan het merendeel van de getroffen klanten te worden geleverd. We zullen de beschikbaarheid in deze datacenters verder verhogen door de productie van bijna 10.000 nieuwe servers gedurende de komende paar weken. De procedure wordt zo spoedig mogelijk aan de betroffen klanten medegedeeld.
    2. De locatie veilig maken. We hebben nu toegang. We zullen het schoonmaken en vervolgens de elektriciteit en het netwerk voor de drie getroffen datacenters herstellen.
    3. Samen met onze klanten blijven evalueren wat de impact is op hun services in de betreffende datacenters om de beste oplossingen te vinden.

We stellen alles in het werk om de continuïteit van de dienstverlening aan onze klanten te garanderen:

  • We werken aan een plan om de drie niet getroffen (SBG3 en SBG4) of gedeeltelijk getroffen (SBG1) datacenters, evenals ons netwerk, zo snel mogelijk te herstellen.
  • We adviseren onze klanten om alert te zijn op binnenkomende e-mails: in tijden van crisis zijn er altijd meer kwaadwillige pogingen (phishing, spam, zwendel, etc.). Het is meer dan ooit nodig waakzaam te blijven. 

De impact op onze activiteiten:

  • We blijven de impact van dit incident evalueren, vooral voor klanten waarvan de gegevens zich in het door brand verwoeste datacenter bevonden.
  • Onze VOIP-webservices in Frankrijk zijn niet beïnvloed.
  • Al onze diensten in andere datacenters in Frankrijk en wereldwijd (waaronder 15 DC's in Europa) zijn volledig operationeel.

Het is onze missie om onze klanten een kwalitatief optimale dienstverlening te bieden om hun online activiteiten te ondersteunen. We weten hoe belangrijk dit voor hen is. Wij willen ons bij deze ten zeerste verontschuldigen voor de moeilijkheden die deze brand voor hun veroorzaakt. We zeggen toe regelmatig en uitermate transparant te communiceren over de oorzaken en gevolgen ervan.

We beoordelen de milieueffecten door samen te werken met de bevoegde autoriteiten en door een procedure te volgen om vast te stellen dat er geen vervuiling is opgetreden.

Op dit moment kunnen we bevestigen dat de omwonenden geen risico lopen.

We evalueren de impact van dit incident doorlopend en zullen zo snel mogelijk helder communiceren over de voortgang van onze analyses en de implementatie van oplossingen.

Al onze communicatiekanalen, te beginnen met ons platform voor incidentbewaking, zijn beschikbaar om u realtime op de hoogte te houden van de ontwikkeling van de situatie.

(Travaux-taak: http://travaux.ovh.net/?do=details&id=49484)

-------------------------------

10-03-2021 - 11.00 u. (CET)

Op woensdag 10 maart 2021 om 0.47 uur brak er brand uit in een ruimte van SBG2, één onze vier datacenters in Straatsburg, Frankrijk. Voor alle duidelijkheid vermelden we dat het terrein niet als Seveso-site geclassificeerd is.


De brandweer heeft onmiddellijk ingegrepen om de teams te beschermen en de verspreiding van de brand in te perken. De brandweer heeft het terrein en de omgeving vanaf 2.54 uur volledig afgeschermd.  Om 4.09 uur heeft de brand SBG2 vernietigd. De omliggende datacenters bleven gevaar lopen, totdat de brandweerlieden de brand volledig onder controle kregen. Sinds 5.30 uur is het terrein vanwege instructies door de prefectuur om voor de hand liggende veiligheidsredenen niet toegankelijk voor onze teams.  De brand is nu onder controle.   Wij zijn opgelucht dat er geen gewonden zijn gevallen, noch onder onze teams, noch onder de brandweerlieden en de hulpdiensten van de prefectuur, die wij bij deze bedanken voor hun voorbeeldige inzet.   


Met al onze 15 datacenters in Europa zetten onze technische en commerciële teams zich volledig in om onze klanten te ondersteunen, oplossingen te implementeren en de onbeschikbaarheid van onze site in Straatsburg op te vangen.   Het is onze missie om onze klanten een kwalitatief optimale dienstverlening te bieden om hun online activiteiten te ondersteunen. We weten hoe belangrijk dit voor hen is. Wij willen ons bij deze ten zeerste verontschuldigen voor de moeilijkheden die deze brand voor hun veroorzaakt. We zeggen toe uitermate transparant te communiceren over de oorzaken en gevolgen ervan.

We zijn op dit moment bezig de impact van dit incident te beoordelen en zullen zo snel mogelijk helder communiceren over de voortgang van onze analyses en de implementatie van oplossingen.


Al onze communicatiekanalen, te beginnen met ons platform voor incidentbewaking (travaux.ovh.com, waarin deze taak), zijn beschikbaar om u realtime op de hoogte te houden van de ontwikkeling van de situatie.

Service Presse | OVHcloud

press@ovhcloud.com

Mijn klantaccountSales contactWebmail OVHcloud Blog

Welkom bij OVHcloud!

Meld u aan om uw producten en diensten te bestellen, te beheren en uw bestellingen te volgen

Inloggen