elasticsearch批量入库bulk性能实例测试


本篇内容主要讲解“elasticsearch批量入库bulk性能实例测试”,感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷,实用性强。下面就让小编来带大家学习“elasticsearch批量入库bulk性能实例测试”吧!我的需求很简单,就是用httpCilent组件,通过REST批量接口bulk提交一些数据。跑一下代码1W条数据导入完成耗时0.843秒,到这里我本可以高高兴兴的交差了,但是我又干了一件事情,用Java原生客户端跑了1W条数据,发现导入速度是0.359秒。管他呢,完成任务。但是,,但是我纠结了,作为一个有追求,有思想的码农,我纠结了。这个时间差距有点大啊。我就怀疑代码有问题了。我就又用了官方的JEST客户端试了下速度。发现速度也不快啊。然后,我的心理就一直缠绕着一个问题,批量导入哪家强?就做了一系列测试。本来测试个Http就好了,但是,又一个但是。我就根本停不下来了。单位是秒,数据量是1W条,总大小是672 kb。httpClient v1是用最笨的方法写的。V2s是加入了线程池,先初始化Client。速度取了3次的平均值。Java的客户端快的时候有0.2秒,也就是每秒5W多记录。测试10W条记录的时候发生了一点意外XContentBuilder太吃内存了,也就是JSON解析。我的2G内存的渣渣机器,跑不起来。换了服务器给3G内存测试的。测试数据很简单,下面这样。第一组0.359 java0.843 httpClient v10.593 httpClient v20.719 jest0.581 javascript0.739 python0.389 nest (.net客户端)第二组10W 条6825 kb5.343 python2.746 httpClient v22.145 javahttp协议的REST接口,总是要比TCP协议的Java原生客户端要慢一些,意外发现是C#的Http组件,性能不错啊。
python
JSJavaJestNest (c#)到此,相信大家对“elasticsearch批量入库bulk性能实例测试”有了更深的了解,不妨来实际操作一番吧!这里是开发云网站,更多相关内容可开发云主机域名以进入相关频道进行查询,关注我们,继续学习!

相关推荐: 云计算学习路线课程大纲资料:使用信号控制进程

今天给大家分享一些云计算学习路线课程大纲资料,这篇文章是关于使用信号控制进程的一些学习笔记资料,希望能给大家一些帮助: ======================================================================…

免责声明:本站发布的图片视频文字,以转载和分享为主,文章观点不代表本站立场,本站不承担相关法律责任;如果涉及侵权请联系邮箱:360163164@qq.com举报,并提供相关证据,经查实将立刻删除涉嫌侵权内容。

Like (0)
Donate 微信扫一扫 微信扫一扫
Previous 05/17 13:00
Next 05/17 13:00

相关推荐