温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。1.问题描述使用kafka-topics – 香港云主机-delete命令删除topic时并没有真正的删除,而是把topic标记为:“marked for deletion”,导致重新创建相同名称的Topic时报错“already exists”。2.问题复现1.登录Kafka集群所在的服务器,创建一个test的topic[root@cdh2 ~]# kafka-topics –create –zookeeper ip-172-31-1-175.ap-southeast-1.compute.internal:2181 –replication-factor 1 –partitions 1 –topic test2.查看新创建的topic[root@cdh2 ~]# kafka-topics –list –zookeeper ip-172-31-1-175.ap-southeast-1.compute.internal:21813.通过如下命令删除新建的topic[root@cdh2 ~]# kafka-topics –delete –zookeeper ip-172-31-1-175.ap-southeast-1.compute.internal:2181 –topic test此处显示“Topic test is marked for deletion”4.尝试重新创建一个test的Topic[root@cdh2 ~]# kafka-topics –create –zookeeper ip-172-31-1-175.ap-southeast-1.compute.internal:2181 –replication-factor 1 –partitions 1 –topic test提示该Topic已存在,说明在第3步操作的删除并没有真正的将Topic删除。3.问题原因默认情况下Kafka是禁用了删除Topic的操作,所以在执行Topic删除的时候只是将删除的Topic标记为“marked for deletion”状态。可以通过修改Kafka服务的配置参数启用。4.解决方法4.1方法1在kafka服务配置delete.topic.enable=false的情况下,如果需要永久删除topic则需要做如下操作:操作如下:1.查看topic的描述信息,命令如下kafka-topics –describe –zookeeper ip-172-31-1-175.ap-southeast-1.compute.internal:2181 –topic test上图标注部分为topic对应的数据存放节点2.通过kafka命令删除,命令如下:kafka-topics –delete –zookeeper ip-172-31-1-175.ap-southeast-1.compute.internal:2181 –topic test3.通过zookeeper客户端删除topic,命令如下zookeeper-client -server ip-172-31-1-175.ap-southeast-1.compute.internal:2181ls /brokers/topicsrmr /brokers/topics/test注:标红部分为topic的名称4.登录到第1步中列出的对应节点的topic的log数据目录,此处我们Kafka的log.dirs目录配置为/var/local/kakfa,执行命令[ec2-user@ip-172-31-9-186 data]$ sudo rm -rf test-0/5.验证是否生效创建一个名称为“test”的Topic,可以正常创建注意:此处将topic为test的日志目录(/var/local/kafka/test-0)删除后,新创建的topic为test的日志目录不存在,重启Kafka服务后正常,目录能正常显示。4.2方法2在Kafka服务已配置delete.topic.enable=true的情况下,永久删除topic需要做如下操作:操作如下:kafka-topics –describe –zookeeper ip-172-31-1-175.ap-southeast-1.compute.internal:2181 –topic test各个数据节点的信息:Zookeeper信息:2.通过kafka命令删除需要删除的topic,命令如下kafka-topics –delete –zookeeper ip-172-31-1-175.ap-southeast-1.compute.internal:2181 –topic test3.查看Zookeeper客户端topic信息[zk: ip-172-31-1-175.ap-southeast-1.compute.internal:2181(CONNECTED) 9] ls /brokers/topics4.查看brober节点上topic的日志数据5.删除后成功后,验证是否能创建名称为test的Topic注意:如果Kafka服务配置了delete.topic.enable=true,直接通过命令行删除,未能删除Topic则可以通过zookeeper-client来进行删除。如果Kafka服务未配置delete.topic.enable=true,直接通过delete命令删除topic,删除时只会将topic标记为“marked for deletion”,然后通过zookeeper-client进行删除是不会删除topic的data.log数据目录的,需要将相应的broker服务器上的data.log目录下相应的topic目录删除,data.log目录获取,可以通过CM界面查看:建议:Kafka服务开启delete.topic.enable=true,开启方式如下:开启后需要重启Kafka服务。醉酒鞭名马,少年多浮夸! 岭南浣溪沙,呕吐酒肆下!挚友不肯放,数据玩的花!
温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。欢迎关注Hadoop实操,第一时间,分享更多Hadoop干货,喜欢请关注分享。
原创文章,欢迎转载,转载请注明:转载自微信公众号Hadoop实操
这篇“React传递参数的方式是什么”文章的知识点大部分人都不太理解,所以小编给大家总结了以下内容,内容详细,步骤清晰,具有一定的借鉴价值,希望大家阅读完这篇文章能有所收获,下面我们一起来看看这篇“React传递参数的方式是什么”文章吧。父组件往子组件传值,直…
免责声明:本站发布的图片视频文字,以转载和分享为主,文章观点不代表本站立场,本站不承担相关法律责任;如果涉及侵权请联系邮箱:360163164@qq.com举报,并提供相关证据,经查实将立刻删除涉嫌侵权内容。