LogReduce operator
LogReduce のアルゴリズムはファジー理論を使用して文字列とパターンの類似性に基づいてメッセージをグループ化します。logreduce operator を使用すれば、デバイスの範囲や Web サイトでのトラフィックなどのアクティビティ パターンをすばやく評価できます。キーワード式で関心のある領域を定義することによって、LogReduce アルゴリズムをその領域に絞り込むことができます。
LogReduce の結果を解釈して影響を与える方法については、「LogReduce を使用したパターンの検出」および「LogReduce の結果の操作」を参照してください。
operator には 2 つの使用方法があります。
[LogReduce] ボタン
集計されていない結果に既に検索クエリを実行している場合は、[Messages (メッセージ)] タブの [LogReduce] ボタンを使用して、LogReduce operator 自動的に現在の結果に適用できます。
- 集計されていない結果に対して検索クエリを実行します。
- [Messages (メッセージ)] タブに [LogReduce] ボタンが表示されます。クリックすると、LogReduce operator が自動的に結果に適用されます。
- [Signatures (シグネチャ)] タブに結果が表示されます。
ルール
- logreduce operator は、"count by field" などの group-by operator と一緒には使用できません。
構文
... | logreduce [field=<field>] [by <byField>] [limit=<limit>] [, criteria=<criteria>]
| パラメータ | 説明 |
|---|---|
| field | 類似するものをグループ化するためのフィールド。フィールドを指定しないと、未処理メッセージが使用されます。 |
| byField | シグネチャのグループ化の基準となるフィールド。結果は集計されて返されます。 |
| limit | 返されるシグネチャの数を制限します。検索クエリに含まれるシグネチャの合計数は非常に多くなることがあり、その場合、最終結果を取得して理解することは容易ではありません。このパラメータを使用することで、返されるシグネチャの数を制限できます。 |
| criteria | デフォルトでは、最も特異なシグネチャの検出が試行されます。criteria パラメータを使用することで、デフォルトの条件を次のいずれかの値で上書きできます。 - mostcommon : 最も頻繁に出現するシグネチャで、最もカウント数が多いものです。leastcommon: 最も出現頻度の少ないシグネチャで、最もカウント数が少ないものです。 |
details オプション
details オプションを使用すると、一意のシグネチャ ID を追加して新しいクエリが開始されます。これによって、そのシグネチャでグループ化されたログが参照可能になります。シグネチャ ID を使用してこれを手動で実行することはできません。Web インターフェイスを使用する必要があります。
LogReduce 操作を実行した後に、[Signatures (シグネチャ)] タブから、シグネチャにまとめられたログを表示できます。シグネチャからの未処理のログ データを表示するために、この operator には details オプションがあります。詳細は 2 通りの方法で表示できます。
- シグネチャの [Count (カウント)] 列の数値をクリックする。
- 任意の数のシグネチャの [Select (選択)] 列のチェックボックスをオンにして、テーブルの右上にある [View Details (詳細を表示)] ボタンをクリックする。
details オプションの構文
... | logreduce | details <signatureId>
例
_sourcecategory = "Labs/AWS/GuardDuty_V8"
| json keys "resource", "partition", "region"
| logreduce
_sourcecategory = "Labs/AWS/GuardDuty_V8"
| json keys "resource", "partition", "region"
| logreduce(partition) by region limit=5,criteria=mostcommon
- LogReduce operator は aggregate operator として機能し、
_timesliceによるグループ化や、_sourcehostなどの他のディメンションによるグループ化をサポートします。
...
| logreduce by _sourcehost
timesliceでグループ化することで、シグネチャのカウントが一定期間にわたってどのように変化するかを判断できます。
...
| timeslice 1m
| logreduce by _timeslice
_sourceCategory=MyApp
| timeslice 1m
| logreduce by _timeslice limit=5,criteria=mostcommon
| transpose row _timeslice column signature
_sourceCategory=MyApp
| logreduce by _sourceHost limit=5,criteria=mostcommon
| transpose row _sourcehost column signature