怎么使用Python抓取和优化所有网站图像

本篇内容介绍了“怎么使用Python抓取和优化所有网站图像”的有关知识，在实际案例的操作过程中，不少人都会遇到这样的困境，接下来就让小编带领大家学习一下如何处理这些情况吧！希望大家仔细阅读，能够学有所成！已安装 Python 3 并理解基本的 Python 语法访问Linux安装（我推荐Ubuntu）或宝塔在我们开始之前，请记住注意您在此处复制的任何内容的缩进，因为有时代码片段无法完美复制。下面的所有模块都应该在核心Python 3中。我发现我需要将 PIL 更新到最新版本 8.2，您可以通过终端中的以下命令执行此操作（如果使用 Google Colab，请在开头加上感叹号）：另外，我们需要安装 Elias Dabbas的 advertools 模块advertools：使用刮擦处理抓取pandas：帮助规范化爬网数据os：用于制作映像目录requests：用于下载图像PIL：处理图像压缩shutil：处理在本地保存图像让我们首先导入上面描述的这个脚本所需的模块。我们需要做的第一件事是定义网络爬虫的起始 URL。99%的时间这应该是你的主页。然后我们在advertools中运行adv.crawl（）函数，并将输出保存为crawl.jl，然后将其加载到crawlme数据帧中。此过程可能需要几分钟，具体取决于您的网站有多大。我不建议在页面或图像超过数万个的非常大的网站上使用此脚本。一般来说，爬虫非常快，只需几秒钟即可处理这个博客。另外，请注意，某些使用 Cloudflare 或其他防火墙的站点最终可能会在某个时候被阻止。site_url = ‘https://importsem.com’adv.crawl(site_url, ‘crawl.jl’, follow_links=True)crawlme = pd.read_json(‘crawl.jl’, lines=True)使用我们的数据帧，我们可以开始规范化和修剪数据，使其仅满足我们的需要。通常有很多 nan 和空白值，因此我们删除这些行。爬网数据帧包含大量爬网数据。出于我们的目的，我们只需要规范列和img_src列。我们选择这些列并将它们转换为字典对象。url_images = crawlme[[‘canonical’,’img_src’]].to_dict()接下来，我们设置一个计数器来帮助循环访问图像键和一个名为 dupes 的列表变量来存储我们已经处理过的图像的 URL，这样我们就不会再次处理它们。x = 0dupes = []现在我们希望创建两个文件夹。一个用于存储原始文件，以防您需要还原它们，另一个文件夹用于存储优化的图像。如果这些文件夹已经存在，它只是将路径发送到变量中。现在是时候处理 URL 了。我们遍历规范密钥中的 URL。然后我们使用计数器变量将其与img_src键匹配。每个 URL 的图像用“免费云主机域名@@”分隔。因此，我们将img_src字符串拆分为“@@”，这变成了一个列表。for key in url_images[‘canonical’].items():print(key[1])images = url_images[‘img_src’][x].split(‘@@’)在处理 URL 的img_src列表之前，我们希望将主页的图像 URL 预加载到重复列表中。if x == 0:dupes = images现在，只要每个图像未在重复列表中列出，我们就会对其进行处理。这确保了我们不会一遍又一遍地处理相同的图像。常见的情况是设计框架图像和徽标，可以在每个页面上找到。这些将在找到它们的第一个 URL 上处理，然后不会再次处理。我们通过反斜杠拆分字符串来获取图像文件名，然后选择创建的最后一个列表项，这将是文件名。然后使用请求模块下载并解码文件。for i in images:if i not in dupes or x == 0:filename = i.split(“/”)[-1]r = requests.get(i, stream = True)r.raw.decode_content = True如果图像下载成功，我们将文件保存到我们之前设置的文件夹中。if r.status_code == 200:with open(path + filename,’wb’) as f:shutil.copyfileobj(r.raw, f)将图像下载到原始图像文件夹中后，我们在本地打开它并使用PIL模块对其进行处理，并将优化的输出保存在我们之前设置的优化图像文件夹中。使用质量参数。65 我通常很安全，但如果你看到图像退化，你可以把它放低或需要提高它。如果需要，您还可以选择调整图像大小。只需使用 PIL 的 Image.resize（） 函数即可。文档在这里。picture = Image.open(path + filename)picture.save(optpath + filename, optimize=True, quality=65)print(‘Image successfully downloaded and optimized: ‘,filename)else:print(‘Download Failed’)处理完 URL 的所有图像后，我们将处理的任何 URL 与重复列表中包含的内容进行比较。如果某个网址不在重复列表中，则会添加该网址，因此如果在另一个网址上找到该网址，我们不会再次处理该网址。if x != 0:[dupes.append(z) for z in images if z not in dupes]最后，我们输出计数器进行进程跟踪，并将计数器增加 1。然后，第一个 URL 循环再次启动，并处理下一个 URLprint(x)x += 1示例输出“怎么使用Python抓取和优化所有网站图像”的内容就介绍到这里了，感谢大家的阅读。如果想了解更多行业相关的知识可以关注百云主机网站，小编将为大家输出更多高质量的实用文章！

相关推荐: 基于Python+Matplotlib怎么实现直方图的绘制

今天小编给大家分享一下基于Python+Matplotlib怎么实现直方图的绘制的相关知识点，内容详细，逻辑清晰，相信大部分人都还太了解这方面的知识，所以分享这篇文章给大家参考一下，希望大家阅读完这篇文章后有所收获，下面我们一起来了解一下吧。直方图 也称 质量…