メインコンテンツまでスキップ
Sumo Logic Japanese

ログ取り込み

データが作成される速度が一定であることはめったにありません。季節的なスパイクが発生した場合でも、新しい機能や製品ラインによってアクティビティが大幅に増加した場合でも、Sumo Logic は、検索のパフォーマンスを維持しながら、お客様の組織の既知のニーズや未知のニーズに応えます。

配置を設計するときは、アカウント内の Collector 全体でどのようにログを取り込むかを検討することが重要です。

ストレージおよび取り込みに関するアカウントの上限

Sumo Logic では、お使いのアカウントでオンデマンド容量が使用されないようにするために、アップロードに関してアカウントの上限を設けています。

  • ストレージ使用量は、現在の請求サイクル内で合計したストレージ使用量の平均をとって計算されます。たとえば、ストレージ制限が 500TB の場合、追加のオンデマンド ストレージに対して料金が請求されるのは、請求サイクルの最後の時点で合計ストレージの月平均が 500TB を超えている場合、または使用中に過大なスパイクがあった場合です (次の箇条書き項目を参照)。
  • ストレージ使用量は、1 日に最大 4 回から 10 回まで超過できます (この回数は、アカウントのサイズによって決まります)。上限を超えた場合でも、クォータが使用可能になってデータが取り込まれるまで、ログ データは Collector レベルで安全に保持されます。 
  • 取り込み速度は、現在の請求サイクル内の毎日の取り込み速度の平均をとって計算されます。たとえば、1 日の取り込み速度が契約で 100GB と定められている場合、オンデマンドの使用に対して料金が請求されるのは、請求サイクルの最後の時点で 1 日の平均取り込みが 100GB を超えている場合のみです。
  • Sumo Logic Free アカウントの場合は、動作が若干異なります。Sumo Logic Free アカウントが上限を何度も超える場合は、クォータが使用可能になるまで (またはアカウントがアップグレードされるまで)、アカウントが一時的に使用できなくなります。
  • Sumo Logic アカウントは、いつでもアップグレードして、追加のクォータを使用できます。組織のニーズを満たすようにアカウントをカスタマイズにするには、Sumo Logic 営業担当員にお問い合わせください。

ログ調整

アクティビティのスパイク管理の一環として、需要がピークの間は、取り込み速度を適切に低下させます。これは、調整と呼ばれます。このセクションではログについて説明します。メトリクスについては「メトリクスの調整」を参照してください。

調整は、アカウント内のすべての Collector 全体で行うことができます。Sumo Logic は、すでにコミットされアップロードされたデータの量と、アカウントの以前の要求数および使用可能なリソース (クォータ) とを比較します。つまり、Sumo Logic は、現在の取り込み速度を、契約してある 1 日あたりのデータ量 (GB/日) から計算される毎分の速度と比較します。

調整は、ボリュームが突然大幅に増加した場合に、お客様と Sumo Logic の双方を保護するために行います。この状況が発生すると、アカウントでオンデマンド容量が使用され、サービス側で取り込みのパフォーマンスの問題が生じる場合があります。

取り込み合計の 1 日あたりの平均の乗数は、アカウントのサイズによって異なります。 

アカウント サイズ - 毎日の平均 乗数
1 日あたり 100GB 以下。 10x
1 日あたり 100GB を超え、256GB 以下。 8x
1 日あたり 256GB を超え、512 GB 以下。 6x
1 日あたり 512GB を超える。 4x

1 日あたり 10GB のアカウントを例にした場合、1 分あたりの平均速度は、約 7.1MB (10GB/24h/60m) です。調整が開始されるのは、取り込み速度が 1 分あたりの速度の乗数 (4x から 10x の間。小さなアカウントの場合は 10x、大きなアカウントの場合は 4x) を超えたときです。たとえば、1 日あたり 10GB のアカウントの場合、乗数は 10x になり、1 分あたりの取り込み速度が 71.11MB/m を超えると調整がトリガされます。 

調整が取り込みに与える影響

ローカル ファイル Source を持つ Installed Collector、および S3 Hosted Collector の場合、Sumo Logic は、Collector (Installed Collector または Hosted Collector) に対して、クォータ制限に関する通知を出し、クォータが使用可能になるまで取り込みを遅延するように指示します。その結果、ローカル Collector または S3 Hosted Collector からのアップロード速度が低下する可能性があるため、調整の実行中は、現在のデータを検索できなくなります。ただし、取り込みデータが削除されることはありません。HTTP Source およびエンドポイントについては、残念ながら、同じデータ送信機能は用意されていません。"429 - Too Many Requests" (429 - 要求が多すぎます) というメッセージを含む POST 要求に対する応答を HTTP Source が取得することはありません。この状況が発生した場合、クォータが使用可能になったときにそのデータの送信を再試行する責任を持つのは、送信元のクライアントです。

クラウド Syslog Source の場合は、HTTP Source と同様、受信データが削除されます。これは、クラウド Syslog がリスナーとして機能し、429 エラーを返すこともできないためです。

また、調整を実行すると、ある Collector からのすべてのデータが取り込まれるポイントに、ある Collector が別の Collector より多いデータをアップロードすることが防止されます。

Collector で調整が実行されると、Collector がデータをアップロードする速度が低下します。アップロード速度がデータの生成速度より遅い場合、Collector は、ディスク上の余分なデータを自動的にキューに格納します。クォータが使用可能になると、キューに格納されたデータがアップロードされます。

どの Collector が余分な取り込みの一因になっているかを知る方法

Data Volume Indexデータ ボリューム アプリケーションを使用すると、Collector、Source、Source Category、ビュー、またはパーティションあたりの取り込みを確認できます。このアプリケーションのインストール方法については、「データ ボリューム アプリケーション」を参照してください。 

調整が実行されたときに通知を受け取る方法

Audit Index が有効になっている場合は、調整が発生したときにアラートを送信するように Scheduled Search をセットアップできます。詳細については、「Audit Index」を参照してください。  

ファイルが変更されたときの取り込み

ファイルが更新されたときに、取り込む方法は Collector のタイプによって変わります。

  • Installed Collector の場合、Sumo Logic が取り込むことができるのは、新しいデータのみです。たとえば、Sumo Logic が 25 行のログ ファイルを取り込み、その後にメッセージがファイルに追加された場合、次回の取り込みは 26 行目から開始されます。
  • S3 Source を持つ Hosted Collector の場合、取り込まれたファイルは、1 つのオブジェクトとして取り扱われ、新しいデータで更新されたり、新しいデータが追加されたりすることはありません。何らかの方法で既存のファイルが更新された場合、新しいオブジェクトと見なされ、もう一度完全に取り込まれます。S3 Source 内の既存のオブジェクトを更新する場合、更新のタイプによっては、メッセージが重複することがあります。
  • 他の Source タイプを持つ Hosted Collector は、お客様の設定に基づいて処理されます。
  • この記事は役に立ちましたか?