(O+P)ut

アウトプット



(O+P)ut

エンジニアのアウトプット

IT-DevOps-fluentd

【fluetnd/tdagent】failed to flush the bufferの原因を解消してもログ書き込みが行われない

事象 tdagentが受信したログがファイルとして生成されていない。 尚、/var/log/td-agent/td-agent.logにて以下メッセージが出力されているがその原因となる事象は解消している。 ... [warn]: #0 failed to flush the buffer. retry_time=8 next_retry_second…

【fluetnd/tdagent】flush_intervalでログ書き込みの遅延時間を変更する

はじめに Fluetndではblob(Binary Large OBject)を集めたchunkが一定程度溜まるか一定時間が経過するとデータを吐き出します。 そして実体はtd-agent.confの中の設定を変更することでそれらを管理し、前者はchunk_limit_size、後者はflush_intervalに該当…

【fluetnd】record_transformerで不要な項目をJSON構造で削除する

やりたいこと forward定義が入ったfluentdにて送付する対象から特定の項目を排除する。 環境情報 # fluentd --version fluentd 1.3.3 やり方 fillteの中にremove_keysで項目を指定する。尚、JSON形式におけるネスト構造は$.A.Bのように記載して抽出する。 <filter **> @</filter>…

【fluetnd】ログの送付先をSyslog経由からtdagent経由に変更する

やりたいこと fluentdでのログ送付先をSyslogではなくtd-agentに変更したい。 尚、Syslogには経由ではログは送付できており同部分の設定ファイルは以下とする。。 <label @test> <match **> @type copy <store> @type remote_syslog host x.x.x.x port 514 protocol tcp ... </store> </match> </label> 環境情報 # …

【IKS/fluentd】コンテナのログをSyslog経由で別サーバに転送する

はじめに IBM Cloud Kubernetes Service(IKS)では外部サーバーに対してSyslog経由でログ転送することができます。 本記事では実際にそれを設定した後にその動作確認をした結果について記載しました。尚、ログの送付先側ではSyslogを受け付ける設定は済んで…

【fluetnd】Syslog経由でログを送るDaemonSetのyamlを適用してみた

はじめに Fluentdの公式ページからKubernetesのログ取得をするためには以下のGithubのYAMLを利用せよとあったので fluent/fluentd-kubernetes-daemonset その中のfluentd-daemonset-syslog.yamlを実際に適用してみました。尚、Syslogの受け手にはLinuxサーバ…

【RHEL/fluetnd】TreasureDataAgent(tdagent)をインストールする流れ

はじめに コンテナのログ監視を行うために利用されるFluentdを導入すべく、受けて側の仮想マシンRHELで実際にTreasureDataAgent(td-agent)をインストールした結果について記載しました。尚、基本は以下コマンドで終わりですが、内部のスクリプトを見ながら…

【fluetnd/tdagent】workersの変更によってマルチプロセスにする

やりたいこと 以下のようにシングルプロセスで動いているfluentdプロセスをMulti Process Workersに変更する。 # ps aux td-agent ... /opt/td-agent/embedded/bin/ruby /opt/td-agent/embedded/bin/fluentd --log /var/log/td-agent/td-agent.log --daemon …


他の記事を読む