本篇内容主要讲解“Elasticsearch写入瓶颈导致skywalking大盘空白怎么解决”，感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷，实用性强。下面就让小编来带大家学习“Elasticsearch写入瓶颈导致skywalking大盘空白怎么解决”吧!继上次skywalking出故障《解析Arthas协助排查线上skywalking不可用问题》不到一个月，线上skywalking又出毛病了。又是大盘空白，trace列表最近的数据都查询不出来，但是时间稍久的数据就能查询出来，如一天前的数据有，一个小时前的数据就没有，这个只是表象，最终查明症结是ES的服务写入瓶颈，导致写入写入数据的线程阻塞导致的。下面是排错过程以及解决方案说明。工具还是那个工具Arthas，不了解的可以翻阅我之前的博文，这里不多说明Arthas。不过这次我们应用了一个新的进阶指令thread，它可以查看当前线程信息，查看线程的堆栈。当skywalking大盘没有数据时，使用如下指令：有时候我们发现应用卡住了， 通常是由于某个线程拿住了某个锁， 并且其他线程都在等待这把锁造成的。 为了排查这类问题， arthas提供了thread -b， 一键找出那个罪魁祸首。最后得到如下的结果：如上图，相信大家已经看到问题所在了，重点在红色字体箭头指向的部分，不得不说Arthas做的太棒了。症结就是ES的批量写入失败线程阻塞了。后从社区了解到是因为ES写入瓶颈，导致skywalking在批量写入索引的时候线程阻塞了。导致阻塞的那段时间的数据都没有写到ES，然后查询是没有问题的，表象就是skywalking的大盘空白也查询不到近期的数据了。skywalking写入ES的操作是使用了ES的批量写入接口。我们可以调整这些批量的维度。尽量降低ES索引的写入频率，如：调整bulkActions默认2000次请求批量写入一次改到4000次。批量刷新从20M一次到40M一次。这种配置调优确实生效了，重启服务后两三天了都没有出现过ES写入阻塞的问题。不过这种设置只是暂时的，你只能期望流量不突发，或者应用不增加。一旦遇到突发流量和应用的增加，ES写入瓶颈还是会凸显出来。而且参数设置过大带来了一个新的问题，就是数据写入延时会比较大，一次服务交互发生的trace隔好久才能在skywalking页面上查询到。所以最终解决方案是优化ES的写入性能。如果是自建Elasticsearch服务，免费云主机域名在基础大数据团队负责搜索引擎 Elasticsearch 优化和开发,博文里分享了很多可调优配置的参数。不过我们这边综合运维人力和支出方面的考虑，决定采用阿里云提供的Elasticsearch，不过这带来了一个新的问题，阿里云的ES服务不论内外网都需要Http Basic认证，但是目前的skywalking并没有提供这种支持。到此，相信大家对“Elasticsearch写入瓶颈导致skywalking大盘空白怎么解决”有了更深的了解，不妨来实际操作一番吧！这里是百云主机网站，更多相关内容可以进入相关频道进行查询，关注我们，继续学习！
这篇文章将为大家详细讲解有关Shell如何获取路径操作，小编觉得挺实用的，因此分享给大家做个参考，希望大家阅读完这篇文章后可以有所收获。pwd: pwd [-LP]Print the name of the current working directory.…
免责声明：本站发布的图片视频文字，以转载和分享为主，文章观点不代表本站立场，本站不承担相关法律责任；如果涉及侵权请联系邮箱：360163164@qq.com举报，并提供相关证据，经查实将立刻删除涉嫌侵权内容。
微信扫一扫 
