Google Cloud Platform Source
Google Cloud Platform (GCP) サービスのログデータは、Google Cloud Stackdriver サービスを通じて収集および公開されます。Stackdriver によって収集されたデータをリアル タイムで Google Cloud Pub/Sub にエクスポートできます。リアル タイムでログを Sumo サービスにプッシュ転送するには、この Pub/Sub 統合を使用します。
Google Cloud Platform Source の設定
Google Cloud Platform (GCP) Source は、Google Pub/Sub からログデータを受け取ります。
このセクションでは、Source URL を許可されたドメインとして GCP アカウントに追加します。この Source は Google Pub/Sub のみの Source になります。つまり、Google Pub/Sub からのデータとして形式化されたログ データにのみ使用できます。
- Sumo Logic で [Manage Data (データの管理)] > [Collection (コレクション)] > [Collection (コレクション)] を選択します。
- Source を追加する既存の Hosted Collector を選択します。使用する Collector がまだない場合は、「Hosted Collector を設定する」の手順に従って作成します。
- Hosted Collector の横の [Add Source (Source を追加)] をクリックして、[Google Cloud Platform] をクリックします。
- Sumo Web アプリケーションの Source に表示する [Name (名前)] を入力します。[Description (説明)] は省略可能です。
- (省略可能) [Source Host (Source ホスト)] と [Source Category] に、この Source から収集された出力にタグを付けるための任意の文字列を入力します。カテゴリのメタデータは _sourceCategory という検索可能なフィールドに、たとえば "gcp" という名前で格納されます。
- Fields (フィールド): [+Add Field (+ フィールドの追加)] リンクをクリックすると、カスタム ログ メタデータ フィールドが追加されます。
- 関連付けるフィールドを定義します。各フィールドには、名前 (キー) と値が必要です。
[Fields (フィールド)] テーブル スキーマにフィールドが存在し、有効化されている場合は、チェック マークを含む緑色の円が表示されます。
[Fields (フィールド)] テーブル スキーマにフィールドが存在しない場合、またはフィールドが無効化されている場合は、感嘆符を含む橙色の三角形が表示されます。この場合は、存在しないフィールドを [Fields (フィールド)] テーブル スキーマに自動的に追加する、または有効化するオプションが表示されます。[Fields (フィールド)] スキーマに存在しないフィールドが Sumo に送信された場合、または無効化された場合、このフィールドは無視され、削除済みとして認識されます。
- 関連付けるフィールドを定義します。各フィールドには、名前 (キー) と値が必要です。
- Log File Discovery (ログ ファイルの検出)。サブスクリプションを設定するには、Google に提供するエンドポイント URL を Sumo から取得する必要があります。
[Create URL (URL を作成)] をクリックして、Source を保存し、一意の URL を生成します。
次に、[Copy URL (URL をコピー)] をクリックします。提供された URL を GCP の許可ドメインとして使用します。
次の手順では、GCP で Source の URL を許可されたドメインとして追加します。
- Google Cloud コンソールを開きます。
- [Products and services (製品とサービス)] > [APIs & Services (API とサービス)] > [Credentials (資格情報)] を選択します。
- [Domain Verification (ドメイン検証)] > [Add Domain (ドメインの追加)] を選択します。
- [Configure webhook notifications for … (hellip 用に webhook 通知を設定)] ダイアログで、Source URL を有効なドメインとして追加し、[Add Domain (ドメインの追加)] をクリックします。
- Google のウェブマスター セントラル ページで URL の所有権を確認するには、[Take Me There (移動する)] をクリックします。URL を確認する Google のウェブマスター セントラルのインターフェイスに移動します。
- ウェブマスター セントラル サイトで [Add Property プロパティを追加] をクリックして、Source URL を追加します。
-
次のスクリーンショットに示す Google 内では、ステップ 1、つまり HTML 検証ファイルのダウンロードとオープンのみを行う必要があります。後続のステップ 8-11 は Sumo Logic 内で行います。これらのステップが完了したら、[Verify (検証)] をクリックします。検証は手順 12 で行います。
- Sumo の [Log File Discovery (ログ ファイルの検出)] の下の Source 設定ページに戻ります。
- [Verification File Name (検証ファイル名)] に、検証ファイル名を入力します。
- [Verification File Contents (検証ファイルの内容)] に、検証ファイルの本文の内容からすべての文字列をコピーして貼り付けます。
Sumo で、Source の設定を続けます。
- [Advanced Options for Logs (ログの詳細オプション)]。
- Enable Timestamp Parsing (タイムスタンプ parse の有効化): デフォルトでは、このオプションはオンになっています。オフにすると、タイムスタンプ情報は parse されません。
- Time Zone (タイム ゾーン): タイム ゾーンには 2 つのオプションがあります。ログ ファイル内のタイム ゾーンを使用できます。その後にタイム ゾーン情報がログ メッセージにない場合のオプションを選択します。または、Sumo Logic がログ内のタイム ゾーン情報を無視するように設定する場合は、タイム ゾーンを強制適用します。どのオプションを選択する場合でも、適切なタイム ゾーンを設定することが重要です。ログのタイム ゾーンを特定できない場合、ログに UTC が割り当てられます。残りのログが別のタイムゾーンからのものである場合は、検索結果に影響します。
- Timestamp Format (タイムスタンプ形式)。デフォルトでは、Sumo Logic はログのタイムスタンプ形式を自動的に検出します。ただし、Source のタイムスタンプ形式を手動で指定することができます。詳細は、「タイムスタンプ、タイム ゾーン、時間範囲、および日付フォーマット」を参照してください。
- [Processing Rules for Logs (ログの処理ルール)]。「Create a Processing Rule (処理ルールの作成)」の説明に従って、必要なフィルタ (包含、除外、ハッシュ、マスクなど) を設定します。処理ルールはログ データには適用されますが、メトリクス データには適用されません。Sumo サービスがデータを受け取る間、データの取得は処理ルールで指定した正規表現に従って実行されます。
- Source の設定が完了したら、[保存] をクリックします。
- Google のウェブマスター セントラルに戻り、[Verify (検証)] をクリックします。検証が正常に終了するはずです。
- 最後に、GCP コンソールで [Products and services (製品とサービス)] > [APIs & Services (API とサービス)] > [Domain verification (ドメイン検証)] に戻り、検証が終わった Sumo Logic エンドポイント URL を追加して、GCP で確認済みドメインとして表示させます。
GCP プロジェクト用の Pub/Sub トピックの設定
このステップでは、GCP で Pub/Sub トピックを設定し、上記の Source URL にサブスクリプションを追加します。Pub/Sub を設定したら、Google Logging から Pub/Sub にデータをエクスポートできます。たとえば、「Collect Logs for Google App Engine (Google App Engine のログの収集)」で説明されているように、Google App Engine のログをエクスポートできます。
制限事項
Google では、トピックから送信されるデータの量が制限されます。テストの結果、データ制限は次のようになっていることがわかりました。
トピック | 1 秒あたりのメガバイト数 | ペイロード サイズ |
---|---|---|
1 | 18 MBps (1.5 TB/日) | 100 KB |
1 | 6 MBps (0.5 TB/日) | 2.5 KB |
次のことが推奨されます。
- トピック全体のシャード メッセージを上記のデータ制限内に収める。
- トピックの許容量を増やすように GCP に依頼する。
トピックの作成ステップ
- GCP で、左側のナビゲーション ペインの [Pub/Sub] を選択します。
- [Pub/Sub] ペインで [Topics (トピックス)] を選択し、[Topics (トピックス)] ペインの [Create Topic (トピックを作成)] をクリックします。
-
トピックの名前を入力し、[Create (作成)] をクリックします。
-
[Topics (トピック)] ペインで新しいトピックを選択し、オプション メニューから [New subscription (新しいサブスクリプション)] を選択します。
- [Create a subscription (サブスクリプションを作成)] ウィンドウで、次の手順を実行します。
- [Subscription Name (サブスクリプション名)]。サブスクリプションの名前を入力します。
- [Delivery Type (配信タイプ)]。[Push into an endpoint url (エンドポイント URL にプッシュ)] を選択して、Sumo HTTP Source のアップロード URL を入力します。
- [Create (作成)] をクリックします。