AWS ECS Fargate および EC2 のコンテナ ログの収集

Fargate コンテナ ログの収集

このセクションでは、Fargate コンテナ ログを収集するための AWS リソースと Sumo Logic リソースを作成する方法を説明します。  

https://endpoint3.collection.us2.sumologic.com/receiver/v1/http/ExampleToken5UilxWIRSnHhU6-L_CCbuFDkc9j0l74XvUiFrmESfdsSFDsfsdQ5vYYYEu2HFuQArdsfsdfsdSaaaskNSn-VPkWsdfdWt4A==

"logConfiguration": {
        "logDriver":"awsfirelens",
          "options": {
             "Name":"http",
             "Host": "<endpoint>",
             "URI": "/receiver/v1/http/<token>",
             "Port": "443",
             "tls": "on",
             "tls.verify": "off",
             "Format": "json_lines"      }

"options": {
    "Name":"http",
    "Header": "X-Sumo-Category ECS/FireLens/Fargate",

 "essential": true,
        "image": "your_application",
        "name": "app",        
        "logConfiguration": {

"executionRoleArn": 
"arn:aws:iam::<account_id>:role/ecsTaskExecutionRole"

"logConfiguration": {
             "logDriver": "awslogs",
             "options": {
                 "awslogs-group": "awslogs-ecs-fargate-sumo",
                 "awslogs-region": "us-west-1",
                 "awslogs-stream-prefix": "awslogs-ecs-fargate-sumo"
             }
        }

aws ecs register-task-definition --region us-west-1 --cli-input-json  file:///httpd_fargate_sumologic.json

aws ecs create-service   --cluster fargate-ecs-firelens-cluster       
--service-name firelens-sumologic-fargate    --task-definition firelens-sumologic-fargate:1   
--desired-count 1   --region us-west-1   --launch-type "FARGATE"   --network-configuration 
"awsvpcConfiguration={subnets=[subnet-1,subnet-2],securityGroups=[sg-1],assignPublicIp=ENABLED}"

aws ec2 describe-security-groups --filters Name=vpc-id,Values=VPC_ID --region us-west-1

_sourceCategory=ECS/Fargate

EC2 コンテナ ログの収集

この手順のステップに従って、サンプル EC2 タスク定義ファイルを使用して EC2 コンテナ ログ収集を設定します。

aws ecs register-task-definition --region us-west-1 --cli-input-json  file:///httpd_ec2_sumologic.json

aws ecs create-service   --cluster  ec2-ecs-firelens-cluster   --service-name firelens-sumologic-ec2       
--task-definition firelens-sumologic-ec2:1   --desired-count 1   --region us-west-1   --launch-type "EC2"

(省略可能) 集中型の Fluentd アグリゲータの作成

このタスクは省略可能です。集中型の Fluentd アグリゲータを作成してすべてのコンテナのログを収集する場合は、このセクションで説明されているステップを実行します。

次の図は、集中型の Fluentd 収集プロセスを示しています。

集中型の Fluentd アグリゲータを作成するには、次の手順を実行します。

1. このドキュメントの説明に従って、Fluentd デプロイを作成します。
2. Sumo Logic FluentD プラグインを使用して、ログが Sumo Logic に送信されるように Fluentd を設定します。
3. 前のセクションの説明に従って、FireLens、Fluent Bit、およびアプリケーションのコンテナを作成します。 
4. 次のアプリケーション コンテナ ログ ドライバ設定を使用して、ログを Fluentd アグリゲータに転送します。(次の例で太字で示されている) 「fluentdhost」を Fluentd ホストの実際の名前に置き換えます。

"logConfiguration": 
                                    {
     "logDriver":"awsfirelens",
      "options": {
    "Name": "forward",
    "Host": "fluentdhost",
"Port": "24224"
         }
                  }

(省略可能) 複数の HTTP ヘッダーのサポート

現在、FireLens はタスク定義内で 1 つのヘッダーのみをサポートしています。複数のヘッダーを追加する必要がある場合は、EC2 では Fluent Bit 設定を S3 に保存できますが、Fargate では S3 設定は機能しません。Fargate の場合は、カスタム Fluent Bit イメージを作成し、外部設定ファイルでカスタム Fluent Bit 設定を指定できます。

EC2 の場合に Fluent 設定を S3 に保存するには、次の手順を実行します。

1. ログ設定として次のように設定します。

"logConfiguration": {
                 "logDriver": "awsfirelens",
             }

2. FireLens 設定で次のように設定します。

"firelensConfiguration": {
                            "type": "fluentbit",
                            "options": {
                                   "config-file-type": "s3",
                                   "config-file-value": "arn:aws:s3:::yourbucket/yourdirectory/extra.conf"
                            }                    },

Fargate の場合にカスタム Fluent Bit イメージを作成し、デプロイし、使用するには、次の手順を実行します。

1. こちらにある AWS Fluent Bit イメージを複製します。
2. ルートフォルダに、カスタム設定を含む新しいファイル fluent-bit-custom.conf を追加します。

[OUTPUT]
    Name       http
    Match      *
    Host       <endpoint>
    URI        /receiver/v1/http/<token>
    Port       443
    Header     X-Sumo-Category ECS/FireLens/Custom/Fargate
    Header     X-Sumo-Name ECS FireLens Custom
    tls        on
    tls.verify off
    Format     json_lines

3. 「前提条件」セクションで説明したように、エンドポイントとトークンを置き換えます。
4. 次の手順を実行して、Docker ファイルを変更します。

• 次のコマンドを使用して、イメージの fluent-bit-custom.conf を保存するカスタムディレクトリ /fluent-bit/etc/custom を追加します。

RUN mkdir -p /fluent-bit/bin /fluent-bit/etc /fluent-bit/log /tmp/fluent-bit-master/ /fluent-bit/etc/custom

• 次の行を追加して、fluent-bit-custom.conf をカスタムディレクトリにコピーします。

COPY fluent-bit-custom.conf /fluent-bit/etc/custom

5. 標準命名規則に従って Makefile の名前を sumologic/aws:latest などに変更します。
6. コマンド make release を使用して、イメージを作成します。
7. コマンド docker push sumologic/aws:latest を使用して、イメージをパブリック リポジトリにアップロードします。
8. 次のようにタスク定義を変更して、新しく作成されたイメージを使用し、カスタム設定を使用するオプションを設定します。

"firelensConfiguration": {
                "type": "fluentbit",
                "options": {
                    "enable-ecs-log-metadata": "true",
                    "config-file-type": "file",
                    "config-file-value": "/fluent-bit/etc/custom/fluent-bit-custom.conf"
                }
            }

9. サンプル JSON を使用して新しいタスク定義を作成し、アカウント ID とイメージ名を更新し、次のコマンドを実行します。

aws ecs register-task-definition --region us-west-1 --cli-input-json file:///httpd_fargate_sumologic_external_config.json

10. 次のコマンドを実行してサービスを作成します。サブネットとセキュリティ グループの変数を実際の環境の値で置き換える必要があります。クラスタ サブネットおよび関連するセキュリティ グループは、AWS コンソールから決定できます。

aws ecs create-service       --cluster fargate-cluster      --service-name firelens-sumologic-fargate-ext-image       
--task-definition firelens-sumo-fargate-external-config-custom-image:1       --desired-count 1       
--region us-west-1       --launch-type "FARGATE"  --network-configuration 
"awsvpcConfiguration={subnets=[subnet-1,subnet-2],securityGroups=[security group],assignPublicIp=ENABLED}"

11. Sumo Logic でログを確認します。

トラブルシューティング

• クラスタがインターネットに接続してログを Sumo Logic に送信できることを確認します。 
• その他のトラブルシューティングについては、こちらの説明を参照してください。