はじめに FluentdとはOSSのログ収集ツールで、サーバだけではなくログ収集コンテナとしてKubernetesやOpenshiftの上で動くPodのログをサーバに転送するという使われ方もよくしています。一方で気になるのはFluentd自体が停止してしまった場合のログの欠落。 …

事象 tdagentが受信したログがファイルとして生成されていない。 尚、/var/log/td-agent/td-agent.logにて以下メッセージが出力されているがその原因となる事象は解消している。 ... [warn]: #0 failed to flush the buffer. retry_time=8 next_retry_second…

はじめに Fluetndではblob（Binary Large OBject）を集めたchunkが一定程度溜まるか一定時間が経過するとデータを吐き出します。 そして実体はtd-agent.confの中の設定を変更することでそれらを管理し、前者はchunk_limit_size、後者はflush_intervalに該当…

やりたいこと forward定義が入ったfluentdにて送付する対象から特定の項目を排除する。 環境情報 # fluentd --version fluentd 1.3.3 やり方 fillteの中にremove_keysで項目を指定する。尚、JSON形式におけるネスト構造は$.A.Bのように記載して抽出する。 <filter **> @</filter>…

やりたいこと fluentdでのログ送付先をSyslogではなくtd-agentに変更したい。 尚、Syslogには経由ではログは送付できており同部分の設定ファイルは以下とする。。 <label @test> <match **> @type copy <store> @type remote_syslog host x.x.x.x port 514 protocol tcp ... </store> </match> </label> 環境情報 # …

はじめに IBM Cloud Kubernetes Service（IKS）では外部サーバーに対してSyslog経由でログ転送することができます。 本記事では実際にそれを設定した後にその動作確認をした結果について記載しました。尚、ログの送付先側ではSyslogを受け付ける設定は済んで…

はじめに Fluentdの公式ページからKubernetesのログ取得をするためには以下のGithubのYAMLを利用せよとあったので fluent/fluentd-kubernetes-daemonset その中のfluentd-daemonset-syslog.yamlを実際に適用してみました。尚、Syslogの受け手にはLinuxサーバ…

はじめに コンテナのログ監視を行うために利用されるFluentdを導入すべく、受けて側の仮想マシンRHELで実際にTreasureDataAgent（td-agent）をインストールした結果について記載しました。尚、基本は以下コマンドで終わりですが、内部のスクリプトを見ながら…

やりたいこと 以下のようにシングルプロセスで動いているfluentdプロセスをMulti Process Workersに変更する。 # ps aux td-agent ... /opt/td-agent/embedded/bin/ruby /opt/td-agent/embedded/bin/fluentd --log /var/log/td-agent/td-agent.log --daemon …