Google Cloud Storage のログの収集
このページでは、Google Cloud Platform (GCP) サービスからログを取り込むための Sumo パイプラインについて説明し、Google Cloud Storage からログを収集する手順を紹介します。
Google Logging からの Google Cloud Storage ログのエクスポートの作成
このステップでは、ログを前のステップで作成した Pub/Sub トピックにエクスポートします。
- [Logging (ログ)] に移動して [Exports (エクスポート)] をクリックします。
- [Create Export (エクスポートの作成)] をクリックします。
-
GCP サービスを選択してログを絞り込みます。sink を作成するお勧めの GCP サービスは "GCS Bucket" であり、これによってサービスのログが Sumo Logic に送信されます。右側の [Edit Export (エクスポートの編集)] ウィンドウで次の操作を実行します。
- [Sink Name (Sink 名)] を設定します。たとえば、"gce-vm-instance" です。
- [Sink Service (Sink サービス)] として [Cloud Pub/Sub] を選択します。
- [Sink Destination (Sink ターゲット)] を「Google Cloud Platform Source」の手順で作成した Pub/Sub トピックに設定します。たとえば、"pub-sub-logs" です。
- [Create Sink (Sink の作成)] をクリックします。
- デフォルトでは、GCP ログは Stackdriver 内に保存されますが、このドキュメントで説明する手順に従って、GCP ログを除外するように Stackdriver を設定することもできます。この設定により、上記の Sumo Logic へのエクスポートに影響が及ぶことはありません。Stackdriver のログを除外する方法については、この GCP ドキュメントの手順に従ってください。
クエリのサンプル
一定期間にわたって作成されたリソース
_sourceCategory=*gcp* data logName resource "\"type\":\"gcs_bucket\"" | parse regex "\"logName\":\"(?<log_name>[^\"]+)\"" | where log_name matches "projects/*/logs/cloudaudit.googleapis.com%2*" | json "message.data.resource.labels", "message.data.protoPayload.methodName" as labels, method | where method matches "*create" or method matches "*delete" | json field=labels "project_id", "bucket_name", "location" as project, bucket_name, location | timeslice 1h | count as operations by _timeslice, method | transpose row _timeslice column method | fillmissing timeslice(1h)