Azure Blob Storage

最後の更新
PDFとして保存

Azure と Sumo のパイプラインを設定するための段階的な手順については、「Azure Blob Storage からログを収集する」を参照してください。

Azure に関する情報リソース

Azure サービスから Azure Blob Storage へのモニタリングデータのエクスポートの詳細については、Azure ヘルプの次のトピックを参照してください。

Azure の機能	内容	ログをセットアップする
Azure Web App Service	Web アプリケーションの概要	Enable diagnostics logging for web apps in Azure App Service (Azure App Service でのアプリの診断ログの有効化)
フローログ	Introduction to flow logging for network security groups (ネットワークセキュリティグループのフローログ入門)。	チュートリアル: Log network traffic to and from a virtual machine using the Azure portal (Azure ポータルを使用して仮想マシンとの間のネットワークトラフィックをログする)

Azure-Sumo のパイプライン

下の図は、Azure Blob Storage から Azure ログを収集するための Azure-Sumo パイプラインを示しています。「モニタリングデータフロー」では、Azure Blob Storage から Sumo Logic へのログのフローを説明します。「パイプラインコンポーネント」では、フローに関わるコンポーネントについて説明します。

モニタリングデータフロー

さまざまなコンポーネントがパイプライン内でどのように組み合わされているかを簡単に説明します。

Azure サービスはモニタリングデータ (ログおよびメトリクス) をストレージアカウントの Azure Blob コンテナに送信します。汎用 v2 (GPv2) および Blob ストレージアカウントがサポートされています。
イベントサブスクリプションは、Azure Blob コンテナをパブリッシャとして、Event Hub をサブスクライバとして設定されています。続いて、Event Grid がすべての作成ブロックイベントを Event Hub にルーティングします。
Event Grid からのデータを受信し次第、イベントハブは TaskProducer という名前の Azure 関数をトリガしてタスクを作成します。(これは、ブロック Blob の開始バイトと終了バイトを含む JSON オブジェクトです)。続いて、これらのタスクが Azure Service Bus キューに転送されます。
TaskConsumer という名前のもう 1 つの関数が Azure Service Bus キューの新しいタスクに対応してトリガされます。この関数は、指定された範囲 (開始バイトから終了バイトまで) のデータを読み取り、データを変換して Sumo の Hosted Collector の HTTP Source に送信します。これら 3 つの Azure 関数は、それぞれそのログを Azure Resource Template (ARM) によって作成されるストレージアカウント (名前は sumobrlogs<unique_prefix>) に送信します。
TaskConsumer 関数がメッセージを処理または送信できない場合 (MaxDeliveryCount のしきい値である 10 件に達したときの調整またはエラーが原因)、デッドレターキュー (DLQ) と呼ばれるセカンダリサブキューにメッセージを送信します。DLQTaskConsumer という名前のもう 1 つの Azure 関数が、メッセージの送信を再試行するためにタイマートリガによって 5 分ごとにトリガされます。

パイプラインのコンポーネント

下のテーブルで、Azure-Sumo パイプラインの主要なコンポーネントについて説明します。

コンポーネントの説明	説明
Azure Event Grid	公開とサブスクライブのモデルを使用して均一なイベント消費を実現する十分に管理の行き届いたインテリジェントイベントルーティングサービスです。サブスクライブする Azure リソースを選択して、イベントを送信するイベントハンドラまたは WebHook エンドポイントを指定します。
Azure Event Hubs	1 秒あたり数百万件のイベントを受信、保存、処理できるデータストリーミングプラットフォームおよびイベント取り込みサービス。Event Grid は「ブロック Blob の作成」イベントをイベントハブにルーティングし、このイベントハブが Sumo 提供の Azure 関数をトリガします。
Sumo 提供の Azure 関数	モニタリングデータを Sumo HTTP Source に送信するために Event Hub によって小規模なコードがトリガされます。それぞれの関数は、関数デバッグ情報用に独自のログも保持しています。
Sumo HTTP Source	Hosted Collector 上の Sumo HTTP Source が TaskConsumer Azure 関数からモニタリングデータを受信します。
Azure Blob Storage	テキストやバイナリデータなど、大量の非構造化データの保存に最適化されたクラウド用の Microsoft のオブジェクトストレージソリューション。
Azure Service Bus キュー	場所に関係なくリソース (アプリケーション、サービス、デバイス) を接続するための汎用でクラウドベースの一方向メッセージングシステム。それぞれのキューは、送信されたメッセージを受信されるまで保存する仲介者 (ブローカーと呼ばれることもある) の役目を果たします。各メッセージは 1 人の受信者によって受信されます。

設定プロセスの概要

Sumo では、パイプラインのコンポーネントの大半を作成するための Azure Resource Management (ARM) テンプレートを用意しています。このテンプレートでは、次のものが作成されます。

Azure Event Grid がブロック Blob イベントをルーティングするイベントハブ。
タスクを保存するための Service Bus。
モニタリングデータを Sumo に送信する役目を果たす 3 つの Azure 関数 (TaskProducer、TaskConsumer、DLQTaskConsumer)。
Azure 関数が成功および失敗した転送に関するログメッセージを書き込むストレージアカウント。

Sumo 提供の ARM テンプレートをダウンロードし、テンプレートを Azure ポータルにアップロードして、Sumo HTTP Source の URL および Azure ストレージアカウント (Azure サービスがログをエクスポートする) の接続文字列を識別するパラメータを設定して、テンプレートをデプロイします。デプロイ後に、Azure ストレージアカウントをパブリッシャとして、ARM テンプレートによって作成されたイベントハブをサブスクライバとして Event Grid を作成します。接頭辞/接尾辞のフィルタを指定して、イベントベースのコンテナ名および Blob 名を絞り込むこともできます。詳細については、Azure ヘルプの「Filtering events (イベントの絞り込み)」を参照してください。その後、Azure サービスから Azure Blob Storage へのモニタリングデータのエクスポートを開始できます。

以下を前提としています。

Azure サービスが Blob を小さなチャンクで更新 (新しいブロックを追加) し、ブロック Blob でテストされている。 
ログファイルのファイル拡張子が .csv、.json、.blob、または .log である。
- .csv ファイルでは、区切り文字がコンマ (,) であることが前提です。.csv ファイルは JSON に変換され、Sumo に送信されます。
- ファイルが .json の場合、JSON オブジェクトが抽出され、Sumo に送信されます。
- ファイルが .blob の場合、JSON オブジェクトが抽出され、Sumo に送信されます。
- ファイルが .log の場合、ログ行がそのまま Sumo に送信されます。

手順については、「Azure Blob Storage からログを収集する」を参照してください。