Kafka中怎么保证消息不丢失重复，很多新手对此不是很清楚，为了帮助大家解决这个难题，下面小编将为大家详细讲解，有这方面需求的人可以来学习下，希望你能有所收获。消费端重复消费：建立去重表消费端丢失数据：关闭自动提交offset，处理完之后受到移位生产端重复发送：这个不重要，消费端消费之前从去重表中判重就可以生产端丢失数据：1、异步方式缓冲区满了，就阻塞在那，等着缓冲区可用，不能清空缓冲区2、发送消息之后回调函数，发送成功就发送下一条，发送失败就记在日志里，等着定时脚本（定时器）来扫描（发送失败可能并不真的发送失败，只是没收到反馈，定时脚本可能会重发）解决策略:如何保证有序（同步发送能保证顺序）：同步发送模式：发出消息后，必须阻塞等待收到通知后，才发送下一条消息异步发送模式：一直往缓冲区写，然后一把写到队列中去两者都是各有利弊：同步发送模式虽然吞吐量小，但是发一条收到确认后再发下一条，既能保证不丢失消息，又能保证顺序kafka数据丢失原因：有3种状态（0（不需要等待确认）、1（leader确认）、-1（all确认））保证消息被安全生产，在配置状态为1（只 香港云主机保证写入leader成功的话），如果刚好leader partition挂了，数据就会丢失使用异步模式的时候，当缓存区满了，如果配置状态为0（还没收到确认的情况下，缓冲池一满，就清空缓冲池里的消息），数据就会被立马丢弃掉如果配置状态为-1由于ISR可能会缩小到仅包含一个Replica，所以设置参数为all并不能一定避免数据丢失在数据生产时避免数据丢失的方法：只要能避免上述两种情况，那么就可以保证消息不会被丢失。
看完上述内容是否对您有帮助呢？如果还想对相关知识有进一步的了解或阅读更多相关文章，请关注开发云行业资讯频道，感谢您对开发云的支持。
最近在筹备hadoop，测试集群只有普通的6个虚拟机，每个1G内存，100G硬盘。所以在yarn进行资源调度的时候比较纠结，硬盘空间也有限。在执行作业的时候就希望能够尽量对输入数据进行压缩。hadoop可以直接处理gz格式的压缩文件，但不会产生split，而是…
免责声明：本站发布的图片视频文字，以转载和分享为主，文章观点不代表本站立场，本站不承担相关法律责任；如果涉及侵权请联系邮箱：360163164@qq.com举报，并提供相关证据，经查实将立刻删除涉嫌侵权内容。
微信扫一扫 
