メインコンテンツまでスキップ
Sumo Logic Japanese

Amazon S3 バケットへの Data Forwarding に対応するファイル形式

S3 への Data Forwarding を開始したら、設定済みのバケットにポストされるファイル オブジェクトの確認を開始する必要があります。ログ メッセージは蓄積され、Sumo が取り込んだ後に戻されます。

ログ メッセージは圧縮された gzip ファイル形式で CSV ファイルとして保存され、Sumo で Data Forwarding を開始するように設定したときに指定した規則に従って命名されます。これについては、「S3 への Data Forwarding の開始」の手順 5 で説明しています。  (レガシー データを転送するためのファイル命名規則は、以下の「レガシー ファイルの命名形式」を参照してください)。 

メッセージはデータ取り込み中に、約 5 分が経過するか、100MB のデータが受信されるまでの、いずれか早く到来するタイミングまでバッファリングされます。バッファリングされたデータは、新しい CSV ファイルに書き込まれ、転送されます。 

これらのファイル オブジェクトには、受信された未処理のメッセージと、そのメッセージの以下のようなシステム メタデータが含まれます。

  • messageId: Sumo Logic 内の特定のメッセージに対する一意の ID。

  • sourceName: 空白が返されます。

  • sourceHost: 空白が返されます。

  • sourceCategory: 空白が返されます。

  • messageTime: ログ メッセージに含まれる parse されたメッセージ時間 (エポック)。

  • receiptTime: サービスが最初にメッセージを受信した時間 (エポック)。

  • sourceID: メッセージをサービスに送信するように設定された Source の一意の ID。

  • collectorId: メッセージをサービスに送信するように設定された Collector の一意の ID。

  • count: 特定のログの Source 名に含まれるメッセージ番号。これらは特定の Source ファイルで連続している必要があります。

  • format: ログ メッセージに含まれるメッセージ時間を parse するために使用するタイムスタンプ形式。

  • encoding: 元のファイル コンテンツのエンコーディング。

  • message: 元の Source から読み込まれる未処理のログ メッセージ。

メタデータ フィールド:

messageId,sourceName,sourceHost,sourceCategory,messageTime,receiptTime,sourceId,collectorId,count,format,view,encoding,message

サンプル オブジェクト:

"-9223371513354977010","","","","1472590091453","1472590094034","101688020","100607825","979","plain:atp:o:0:l:29:p:yyyy-MM-dd HH:mm:ss,SSSZZZZ","JchenTest2","UTF8","2016-08-30 13:48:11,453 -0700 WARN  [hostId=nite-cqsplitter-1] [module=cqsplitter] [localUserName=cqsplitter] [logger=cqsplitter.engine.CQsMultiMatchersManager] [thread=DTP-cqsplitter.receiver.consumer.v2.threadpool-6] MultiMatcher queue for customer 0000000000000131 is at capacity, adding element will block."

レガシー ファイルの命名形式

レガシー データを転送するためのファイル命名規則 (2017 年 1 月前) は次のとおりです。 

<start_epoch>-<end_epoch>--<objectid>.csv.gz

各パラメータの説明

  • start_epoch は、ファイルに含まれる最初のメッセージの parse されたメッセージ時間を表すエポック時間です。
  • end_epoch は、ファイルに含まれる最後のメッセージの parse されたメッセージ時間を表すエポック時間です。
  • objectid は、作成時に Sumo によって生成されたファイル オブジェクトの一意の ID です。
  • この記事は役に立ちましたか?