Networking issue in clusters

Incident Report for Seravo

Postmortem

Häiriö Suomessa sijaitsevissa palvelinklustereissa 9.6.2026

(English follows)

Ubuntu-käyttöjärjestelmän kehittäjä Canonical julkaisi maanantaina 8.6.2026 korjauksen www-palvelinohjelmisto Nginx:n HTTP/2 Bomb -haavoittuvuuteen (https://ubuntu.com/security/notices/USN-8398-1).

Nginx on käytössä myös Seravolla, ja ohjelmisto päivitettiin automaattisesti aamulla 9.6.2026. Päivityksessä oli mukana regressio, joka rikkoi Seravolla käytössä olevien Nginx-moduulien yhteensopivuuden, minkä seurauksena Nginx ei toiminut normaalisti eikä pystynyt vastaamaan HTTP-pyyntöihin. Ongelma on maailmanlaajuinen, eikä Canonical ole toistaiseksi julkaissut päivityksiä ko. moduuleihin.

Seravolla ongelma vaikutti suurimpaan osaan asiakkaidemme sivustoja Suomessa sijaitsevissa palvelinklustereissa, ja sen seurauksena sivustot eivät toimineet. Ongelma ei koskenut sivustoja palvelinklustereissamme, jotka sijaitsevat muissa maissa (Ruotsi, Saksa, Yhdysvallat).

Ongelma saatiin korjattua palauttamalla väliaikaisesti käyttöön Nginx:n aiempi versio. Seuraamme saatavilla olevien korjausten tilannetta ja teemme tarvittavat päivitykset mahdollisimman pian.

Ilmoitamme reaaliaikaisesti kaikista palveluitamme koskevista häiriöistä erillisellä statussivulla osoitteessa status.seravo.com. Suosittelemme häiriöilmoitusten tilaamista esim. sähköpostiin.

Aikajana (UTC+3)

  • 06:00 Päivitykset alkoivat
  • 06:13 Ensimmäinen sivustohälytys
  • 06:15 Seravon päivystäjä tarkistaa tilanteen
  • 06:21 Ongelma rajataan Nginx:ään
  • 06:25 Häiriöilmoitus julkaistaan (status.seravo.com)
  • 06:30 Ongelma rajataan ohjelmistopäivityksiin
  • 06:44 Päivystäjä eskaloi ongelman tiimin sisällä
  • 06:53 Käyttöön palautetaan aiempi Nginx-versio
  • 07:12 Kaikkien palvelimien Nginx palautettu, sivustot toiminnassa
  • 07:18 Ongelman leviäminen laajemmalle estetty

Incident on Finnish server clusters on June 9, 2026

On Monday, June 8, 2026, Canonical (developer of the Ubuntu operating system) released a security patch for the Nginx web server software to address the HTTP/2 Bomb vulnerability (https://ubuntu.com/security/notices/USN-8398-1).

Nginx is used by Seravo, and the software was automatically updated on the morning of June 9, 2026. The patch contained a regression that broke compatibility with the Nginx modules used by Seravo. As a result, Nginx failed to handle incoming HTTP requests. The issue affects systems globally, and Canonical has not yet released updates for the affected modules.

At Seravo’s hosting, the issue affected the majority of our customers’ sites hosted on server clusters located in Finland, causing downtime. Sites hosted on our server clusters in other countries (Sweden, Germany, and the United States) were not affected.

The issue was resolved by temporarily rolling back to the previous version of Nginx. We are closely monitoring the availability of official fixes and will apply the necessary updates as soon as possible.

Seravo provides real-time updates on all disruptions at status.seravo.com. We highly recommend subscribing to incident notifications via email, for example.

Timeline (UTC+3)

  • 06:00 Updates begin
  • 06:13 First site alert triggered
  • 06:15 Seravo’s on-call expert investigates the situation
  • 06:21 The issue is isolated to Nginx
  • 06:25 Incident notification published (status.seravo.com)
  • 06:30 The issue is limited to software updates
  • 06:44 On-call expert escalates the issue within the team
  • 06:53 Nginx is rolled back to previous version
  • 07:12 Nginx rollback on all servers successful, sites back in operation
  • 07:18 Issue successfully mitigated, further propagation prevented
Posted Jun 09, 2026 - 10:26 UTC

Resolved

This incident has been resolved.
Posted Jun 09, 2026 - 04:24 UTC

Update

We are continuing to monitor for any further issues.
Posted Jun 09, 2026 - 04:23 UTC

Monitoring

A fix has been implemented and we are monitoring the results.
Posted Jun 09, 2026 - 04:23 UTC

Identified

We identified a networking issue in cluster. Our team is working on it to fix it. We apologise for any inconvenience.
Posted Jun 09, 2026 - 03:25 UTC
This incident affected: Finland (fi-coltrane cluster, fi-ellington cluster, fi-haarla cluster, fi-metheny cluster, fi-perko cluster, fi-rantala cluster, fi-sestak cluster, fi-tolonen cluster, fi-lahti cluster, fi-fredriksson cluster).