最近、plume logをロギングシステムとして使っているのですが、kafkaをメッセージキューとして使うと、以下のようなエラーが発生することがわかりました:
.571 WARN 13200 --- [ad | producer-1] org.apache.kafka.clients.NetworkClient : [Producer clientId=producer-1] Error connecting to node DESKTOP-HOS9DR7:9092 (id: 1 rack: null)
java.net.UnknownHostException: DESKTOP-HOS9DR7
at java.net.InetAddress.getAllByName0(InetAddress.java:1281)
at java.net.InetAddress.getAllByName(InetAddress.java:1193)
at java.net.InetAddress.getAllByName(InetAddress.java:1127)
at org.apache.kafka.clients.ClientUtils.resolve(ClientUtils.java:104)
at org.apache.kafka.clients.ClusterConnectionStatesNodeConnectionState.currentAddress(ClusterConnectionStates.java:403)atorg.apache.kafka.clients.ClusterConnectionStatesNodeConnectionState.access$200(ClusterConnectionStates.java:363)
at org.apache.kafka.clients.ClusterConnectionStates.currentAddress(ClusterConnectionStates.java:151)
at org.apache.kafka.clients.NetworkClient.initiateConnect(NetworkClient.java:943)
at org.apache.kafka.clients.NetworkClient.ready(NetworkClient.java:288)
at org.apache.kafka.clients.producer.internals.Sender.sendProducerData(Sender.java:361)
at org.apache.kafka.clients.producer.internals.Sender.runOnce(Sender.java:334)
at org.apache.kafka.clients.producer.internals.Sender.run(Sender.java:244)
at java.lang.Thread.run(Thread.java:748)
原因はkafkaの設定の問題です:
元々の構成は
listeners=PLAINTEXT://:9092
あるべき構成
listeners=PLAINTEXT://2.
当初はzookeeperの設定に問題があるのかと思い、ローカルのzookeeperに接続しているのかと思ったのですが、実際にはkafkaの設定に問題があり、plumeのログがzookeeperを経由して他のkafkaサービスを発見することはなかったはずです。
.390 INFO 13200 --- [localhost:2181)] org.apache.zookeeper.ClientCnxn : Opening socket connection to server localhost/0:0:0:0:0:0:0:1:2181. Will not attempt to authenticate using SASL (unknown error)





