如何进行Linux设备IO研究与数据库性能调优

本篇文章给大家分享的是有关如何进行Linux设备IO研究与数据库性能调优，小编觉得挺实用的，因此分享给大家学习，希望大家阅读完这篇文章后可以有所收获，话不多说，跟着小编一起来看看吧。如何在Linux系统里对数据库及设备IO库进行调优？数据库系统是基于文件系统的，其性能和设备读写的机制有密切的关系。和数据库性能密切相关的文件I/O操作的三个操作：open 打开文件write 写文件fdatasync flush操作（将文件缓存刷到磁盘上）。一、Open操作系统调用Open会为该进程一个文件描述符fd。这里使用了O_WRONLY|O_APPDENT|O_SYNC打开文件:1. O_WRONLY表示我们以”写”的方式打开，告诉内核我们需要向文件中写入数据；2. O_APPDENT告诉内核以”追加”的方式写文件；3. O_DSYNC告诉内核，当向文件写入数据的时候，只有当数据写到了磁盘时，写入操作才算完成（write才返回成功）。4. 和O_DSYNC同类的文件标志，还有O_SYNC,O_RSYNC，O_DIRECT。(1) O_SYNC比O_DSYNC更严格，不仅要求数据已经写到了磁盘，而且对应的数据文件的属性（例如文件长度等）也需要更新完成才算write操作成功。可见O_SYNC较之O_DSYNC要多做一些操作。(2) O_RSYNC表示文件读取时，该文件的OS cache必须已经全部flush到磁盘了；(3)如果使用O_DIRECT打开文件，则读/写操作都会跳过OS cache，直接在device（disk）上读/写。因为没有了OS cache，所以会O_DIRECT降低文件的顺序读写的效率。二、Write操作在使用open打开文件获得文件描述符之后，我们就可以调用write函数来写入数据了，write会根据前面的open开发云主机域名参数不同，而表现不同。三、Flush阶段write操作后，我们还调用了fdatasync来确保文件数据flush到了disk上。fdatasync返回成功后，那么可以认为数据已经写到了磁盘上。像这样的flush的函数还有fsync、sync。1. Fsync和fdatasync的区别等同于O_SYNC和O_DSYNC的区别。2. Sync函数表示将文件在OS cache中的数据排入写队列，并不确认是否真的写磁盘了，所以sync并不可以靠。忽略文件打开的过程，通常我们会说“写文件”有两个阶段，一个是调用write我们称为写数据阶段（其实是受open的参数影响），调用fsync（或者fdatasync）我们称为flush阶段。Linux上的块设备的操作可以分为两类：***类是使用C标准库中的fopen/fread/fwrite 系列的函数，我们可以称其为 buffered I/O。具体的I/O path如下：library buffer是标准库提供的用户空间的buffer，可以通过setvbuf改变其大小。第二类是使用Linux的系统调用的open/read/write 系列的函数，我们可以称其为 non-buffered I/O。此外，我们可以通过设置open的O_DIRECT 标志来实现Direct I/O （或者叫Raw I/O ）,即绕过OS Cache,直接读取Device ( that’s what we want^o^ ), 等于将OS cache换成自己管理的cache。不过，Linus在邮件列表中建议不这么做，而是使用posix_fadvice, madvice。中表明Direct I/O比buffered I/O的性能高很多。在MySQL中，参数Innodb_flush_method(Linux)可以设定为：Fdatasync、O_DSYNC、O_DIRECT。我们看看这个三个参数是如何影响程序MySQL对日志和数据文件的操作：fdatasync被认为是安全的，因为在MySQL总会调用fsync来flush数据。使用O_DSYNC是有些风险的，有些OS会忽略该参数O_SYNC 。我们看到O_DIRECT和fdatasync和很类似，但是它会使用O_DIRECT 来打开数据文件。有数据表明，如果是大量随机写入操作，O_DIRECT 会提升效率。但是顺序写入和读取效率都会降低。所以使用O_DIRECT需要谨慎。mysql innodb 对应相关参数：innodb_flush_method有三个值，分别是fdatasync，O_DSYNC和O_DIRECT，其中fdatasync是默认值。它们控制了InnoDB刷新日志和数据的模式。fdatasync：InnoDB使用fsync()函数去更新日志和数据文件。O_DSYNC：InnoDB使用O_SYNC模式打开并更新日志文件，用fsync()函数去更新数据文件。O_DIRECT：InnoDB使用O_DIRECT模式打开数据文件，用fsync()函数去更新日志和数据文件。我们看到O_DIRECT和fdatasync和很类似，但是它会使用O_DIRECT 来打开数据文件。有数据表明，如果是大量随机写入操作，O_DIRECT 会提升效率。但是顺序写入和读取效率都会降低。所以使用O_DIRECT需要谨慎。以上就是如何进行Linux设备IO研究与数据库性能调优，小编相信有部分知识点可能是我们日常工作会见到或用到的。希望你能通过这篇文章学到更多知识。更多详情敬请关注开发云行业资讯频道。

相关推荐: 我的世界电脑版如何下载安装

这篇文章主要为大家展示了“我的世界电脑版如何下载安装”，内容简而易懂，条理清晰，希望能够帮助大家解决疑惑，下面让小编带领大家一起研究并学习一下“我的世界电脑版如何下载安装”这篇文章吧。具体的操作方法如下：1、首先网上搜索我的世界电脑版，开发云主机域名然后找到合…