Google BigQuery アプリケーションのログの収集
このページでは、Google Cloud Platform (GCP) サービスからログを取り込むための Sumo パイプラインについて説明し、Google BigQuery アプリケーションからのログ収集を設定する手順を紹介します。
Google Logging からの Google BigQuery ログのエクスポートの作成
このステップでは、ログを前のステップで作成した Pub/Sub トピックにエクスポートします。
- [Logging (ログ)] に移動して [Exports (エクスポート)] をクリックします。
- [Create Export (エクスポートの作成)] をクリックし、リソース タイプとして resource.type="bigquery_resource" と入力します。
-
GCP サービスを選択してログを絞り込みます。sink を作成するお勧めの GCP サービスは BigQuery であり、これによってサービスのログが Sumo Logic に送信されます。右側の [Edit Export (エクスポートの編集)] ウィンドウで次の操作を実行します。
- [Sink Name (Sink 名)] を設定します。たとえば、"big-query-export" です。
- [Sink Service (Sink サービス)] を Cloud Pub/Sub に設定します。
- [Sink Destination Sink ターゲット] を上で作成した Pub/Sub トピックに設定します。たとえば、"pub-sub-logs" です。
- [Create Sink (Sink の作成)] をクリックします。
- デフォルトでは、GCP ログは Stackdriver 内に保存されますが、このドキュメントで説明する手順に従って、GCP ログを除外するように Stackdriver を設定することもできます。この設定により、上記の Sumo Logic へのエクスポートに影響が及ぶことはありません。Stackdriver のログを除外する方法については、この GCP ドキュメントの手順に従ってください。
詳細については、GCP の「ログのエクスポートの概要」を参照してください。
クエリのサンプル
一定期間にわたって作成されたリソース
_sourceCategory=*gcp* logName resource "type":"bigquery_resource" | parse regex "\"logName\":\"(?<log_name>[^\"]+)\"" | where log_name matches "projects/*/logs/cloudaudit.googleapis.com%2Factivity" | json "message.data.resource.labels", "message.data.resource.labels.project_id" as labels, project | timeslice 1h | count as operations by _timeslice, project | transpose row _timeslice column project