python beautifulsoup4模块怎么用

本篇内容主要讲解“pythonbeautifulsoup4模块怎么用”，感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷，实用性强。下面就让小编来带大家学习“pythonbeautifulsoup4模块怎么用”吧!BeautifulSoup4是一款 python 解析库，主要用于解析 HTML 和 XML，在爬虫知识体系中解析 HTML 会比较多一些，该库安装命令如下：BeautifulSoup在解析数据时，需依赖第三方解析器，常用解析器与优势如下所示：python 标准库 html.parser：python 内置标准库，容错能力强；lxml 解析器：速度快，容错能力强；html5lib：容错性最强，解析方式与浏览器一致。接下来用一段自定义的 HTML 代码来演示beautifulsoup4库的基本使用，测试代码如下：用一段自定义的HTML代码来演示使用BeautifulSoup对其进行简单的操作，包含实例化 BS 对象，输出页面标签等内容。用1段自定义的HTML代码来演示用2段自定义的HTML代码来演示我们可以通过 BeautifulSoup 对象，直接调用网页标签，这里存在一个问题，通过 BS 对象调用标签只能获取排在第一位置上的标签，如上述代码中，只获取到了一个p标签，如果想要获取更多内容，请继续阅读。学习到这里，我们需要了解 BeautifulSoup 中的 4 个内置对象：BeautifulSoup：基本对象，整个 HTML 对象，一般当做 Tag 对象看即可；Tag：标签对象，标签就是网页中的各个节点，例如 title，head，p；NavigableString：标签内部字符串；Comment：注释对象，爬虫里面使用场景不多。下述代码为你演示这几种对象出现的场景，注意代码中的相关注释：用1段自定义的HTML代码来演示用2段自定义的HTML代码来演示对于Tag 对象，有两个重要的属性，是name和attrs用1段自定义的HTML代码来演示用2段自定义的HTML代码来演示上述代码演示了获取name属性和attrs属性的用法，其中attrs属性得到的是一个字典，可以通过键获取对应的值。获取标签的属性值，在 BeautifulSoup 中，还可以使用如下方法：获取NavigableString对象获取了网页标签之后，就要获取标签内文本了，通过下述代码进行。除此之外，你还可以使用text属性和get_text()方法获取标签内容。还可以获取标签内所有文本，使用strings和stripped_strings即可。扩展标签/节点选择器之遍历文档树直接子节点标签（Tag）对象的直接子元素，可以使用contents和children属性获取。用1段自定义的HTML代码来演示用2段自定义的HTML代码来演示请注意以上两个属性获取的都是直接子节点，例如h2标签内的后代标签span，不会单独获取到。如果希望将所有的标签都获取到，使用descendants属性，它返回的是一个生成器，所有标签包括标签内的文本都会单独获取。其它节点的获取（了解即可，即查即用）parent和parents：直接父节点和所有父节点；next_sibling，next_siblings，previous_sibling，previous_siblings：分别表示下一个兄弟节点、下面所有兄弟节点、上一个兄弟节点、上面所有兄弟节点，由于换行符也是一个节点，所有在使用这几个属性时，要注意一下换行符；next_element，next_elements，previous_element，previous_elements：这几个属性分别表示上一个节点或者下一个节点，注意它们不分层次，而是针对所有节点，例如上述代码中div节点的下一个节点是h2，而div节点的兄弟节点是ul。文档树搜索相关函数第一个要学习的函数就是find_all()函数，原型如下所示：name：该参数为 tag 标签的名字，例如find_all('p')是查找所有的p标签，可接受标签名字符串、正则表达式与列表；attrs：传入的属性，该参数可以字典的形式传入，例如attrs={'class': 'nav'}，返回的结果是 tag 类型的列表；上述两个参数的用法示例如下：recursive：调用find_all ()方法时，BeautifulSoup 会检索当前 tag 的所有子孙节点，如果只想搜索 tag 的直接子节点，可以使用参数recursive=False，测试代码如下：text：可以检索文档中的文本字符串内容，与name参数的可选值一样，text参数接受标签名字符串、正则表达式、 列表；limit：可以用来限制返回结果的数量；kwargs：如果一个指定名字的参数不是搜索内置的参数名，搜索时会把该参数当作 tag 的属性来搜索。这里要按class属性搜索，因为class是 python 的保留字，需要写作class_，按class_查找时，只要一个 CSS 类名满足即可，如需多个 CSS 名称，填写顺序需要与标签一致。还需要注意网页节点中，有些属性在搜索中不能作为kwargs参数使用，比如html5中的data-*属性，需要通过attrs参数进行匹配。与find_all()方法用户基本一致的其它方法清单如下：find()：函数原型find( name , attrs , recursive , text , **kwargs )，返回一个匹配元素；find_parents()，find_parent()：函数原型find_parent(self, name=None, attrs={}, **kwargs)，返回当前节点的父级节点；find_next_siblings()，find_next_sibling()：函数原型find_next_sibling(self, name=None, attrs={}, text=None, **kwargs)，返回当前节点的下一兄弟节点；find_previous_siblings()，find_previous_sibling()：同上，返回当前的节点的上一兄弟节点；find_all_next()，find_next()，find_all_previous () ，find_previous ()：函数原型find_all_next(self, name=None, attrs={}, text=None, limit=None, **kwargs)，检索当前节点的后代节点。CSS 选择器该小节的知识点与pyquery有点撞车，核心使用select()方法即可实现，返回数据是列表元组。通过标签名查找，soup.select("title")；通过类名查找，soup.select(".nav")；通过 id 名查找，soup.select("#content")；通过组合查找，soup.select("div#content")；通过属性查找，soup.select("div[id='content'")，soup.select("a[href]")；在通过属性查找时，还有一些技巧可以使用，例如：^=：可以获取以 XX 开头的节点：*=：获取属性包含指定字符的节点：BeautifulSoup 的基础知识掌握之后，在进行爬虫案例的编写，就非常简单了，本次要采集的目标网站 ，该目标网站有大量的艺术二维码，可以供设计大哥做参考。下述应用到了 BeautifulSoup 模块的标签检索与属性检索，完整代码如下：本次代码测试输出采用的logging模块实现，效果如下图所示。 测试仅采集了 1 页数据，如需扩大采集范围，只需要修改main函数内页码规则即可。 ==代码编写过程中，发现数据请求是类型是 POST，数据返回格式是 JSON，所以本案例仅作为 B免费云主机域名eautifulSoup 的上手案例吧==到此，相信大家对“pythonbeautifulsoup4模块怎么用”有了更深的了解，不妨来实际操作一番吧！这里是百云主机网站，更多相关内容可以进入相关频道进行查询，关注我们，继续学习！

相关推荐: Java Web项目中如何解决中文乱码

今天小编给大家分享一下JavaWeb项目中如何解决中文乱码的相关知识点，内容详细，逻辑清晰，相信大部分人都还太了解这方面的知识，所以分享这篇文章给大家参考一下，希望大家阅读完这篇文章后有所收获，下面我们一起来了解一下吧。JavaEE（Java Enterpri…