サイトの表示が断続的に遅い

美容関連サロンの紹介を行うサイトを運営する企業様から、サイトにアクセスすると表示されるまでに10数秒かかったり、場合によってはエラーが表示されてしまう状況になっていると問い合わせがありました。
契約しているサーバー運営会社に問い合わせをしても、特に障害は発生していないとの回答で原因がわかっていない状況でした。

サーバー内部に入って調査をしたところ、検索エンジンのクローラーのアクセスが増えていて、しかも外部からはアクセスできないように認証を設けている検証環境にも多数のアクセスがあり、これが原因で処理が遅滞してしまっていたようです。
あまりにアクセス頻度が高いクローラーのアクセスを拒否し、検証環境のセキュリティも修正して、問題が発生する以前の表示速度に戻りました。