1. PingCode智库首页
  2. 百科

在pubmed数据库中如何批量下载

Edit1 • • 百科

在pubmed数据库中如何批量下载

在PubMed数据库中批量下载数据的方法有多种：使用批量下载工具、利用API接口、借助脚本编程语言等。使用NCBI工具、编写脚本、借助第三方软件。下面详细介绍如何使用NCBI工具进行批量下载。

一、使用NCBI工具

使用NCBI提供的工具如Entrez Programming Utilities (E-utilities) 是一种常见的批量下载方法。这些工具提供了一系列API，允许用户在PubMed数据库中进行复杂的搜索和数据下载。

1、E-utilities介绍

E-utilities是NCBI提供的一系列HTTP接口，用于访问其数据库。它们包括八个不同的工具，每个工具都有特定的功能。例如，Esearch用于在数据库中进行搜索，Efetch用于下载数据，Esummary用于获取文献摘要等。

2、E-utilities的使用方法

为了进行批量下载，通常需要以下几个步骤：

（1）使用Esearch进行搜索

首先，需要使用Esearch工具在PubMed数据库中进行搜索。Esearch工具允许你根据特定的关键词、作者、期刊名等进行复杂的搜索。

例如，假设你想搜索与“癌症治疗”相关的文献：

https://eutils.ncbi.nlm.nih.gov/entrez/eutils/esearch.fcgi?db=pubmed&term=癌症治疗&retmax=1000

这个URL会返回一个XML文件，其中包含了匹配搜索条件的文献ID。

（2）使用Efetch下载数据

接下来，使用Efetch工具根据文献ID下载详细的数据。这一步可以将搜索到的文献ID传递给Efetch，以获取详细的文献信息。

例如，假设你有一系列文献ID，可以构造如下的Efetch请求：

https://eutils.ncbi.nlm.nih.gov/entrez/eutils/efetch.fcgi?db=pubmed&id=文献ID1,文献ID2,...&rettype=xml

这个URL会返回一个包含详细文献信息的XML文件。

（3）批处理

为了批量下载大量数据，可以编写脚本来自动化上述过程。常用的编程语言有Python、Perl等。以下是一个简单的Python示例：

import requests


Step 1: Use Esearch to find relevant articles


esearch_url = "https://eutils.ncbi.nlm.nih.gov/entrez/eutils/esearch.fcgi"


search_params = {


    'db': 'pubmed',


    'term': '癌症治疗',


    'retmax': 1000,


    'usehistory': 'y'


}


esearch_response = requests.get(esearch_url, params=search_params)


esearch_data = esearch_response.text


Parse the esearch response to get the WebEnv and QueryKey


import xml.etree.ElementTree as ET


root = ET.fromstring(esearch_data)


webenv = root.find('WebEnv').text


query_key = root.find('QueryKey').text


Step 2: Use Efetch to download the articles


efetch_url = "https://eutils.ncbi.nlm.nih.gov/entrez/eutils/efetch.fcgi"


fetch_params = {


    'db': 'pubmed',


    'query_key': query_key,


    'WebEnv': webenv,


    'rettype': 'xml',


    'retmode': 'xml'


}


efetch_response = requests.get(efetch_url, params=fetch_params)


efetch_data = efetch_response.text


Save the fetched data to an XML file


with open("pubmed_data.xml", "w") as file:


    file.write(efetch_data)

二、编写脚本

除了使用NCBI提供的工具外，可以通过编写脚本来进行批量下载。Python和R是常用的编程语言，因为它们有大量用于Web抓取和API访问的库。

1、Python脚本

Python是非常适合进行批量下载和数据处理的语言。可以使用Requests库进行HTTP请求，使用BeautifulSoup或lxml库解析HTML/XML数据。

以下是一个使用Python进行批量下载的简单示例：

import requests


from bs4 import BeautifulSoup


Step 1: Search PubMed


search_url = "https://pubmed.ncbi.nlm.nih.gov/?term=癌症治疗"


search_response = requests.get(search_url)


search_soup = BeautifulSoup(search_response.text, 'html.parser')


Step 2: Extract article IDs


article_ids = [tag['data-article-id'] for tag in search_soup.find_all('article')]


Step 3: Download articles


for article_id in article_ids:


    fetch_url = f"https://pubmed.ncbi.nlm.nih.gov/{article_id}/"


    fetch_response = requests.get(fetch_url)


    fetch_soup = BeautifulSoup(fetch_response.text, 'html.parser')


    # Extract necessary information


    title = fetch_soup.find('h1', class_='heading-title').text.strip()


    abstract = fetch_soup.find('div', class_='abstract').text.strip()


    # Save to file


    with open(f"article_{article_id}.txt", "w") as file:


        file.write(f"Title: {title}nAbstract: {abstract}n")

2、R脚本

R也是一种常用的数据分析语言，适合进行批量下载和数据处理。可以使用httr库进行HTTP请求，使用XML或rvest库解析HTML/XML数据。

以下是一个使用R进行批量下载的简单示例：

library(httr)


library(xml2)


Step 1: Search PubMed


search_url <- "https://pubmed.ncbi.nlm.nih.gov/?term=癌症治疗"


search_response <- GET(search_url)


search_content <- content(search_response, "text")


search_xml <- read_html(search_content)


Step 2: Extract article IDs


article_ids <- search_xml %>%


  html_nodes("article") %>%


  html_attr("data-article-id")


Step 3: Download articles


for (article_id in article_ids) {


  fetch_url <- paste0("https://pubmed.ncbi.nlm.nih.gov/", article_id, "/")


  fetch_response <- GET(fetch_url)


  fetch_content <- content(fetch_response, "text")


  fetch_xml <- read_html(fetch_content)


  # Extract necessary information


  title <- fetch_xml %>%


    html_node("h1.heading-title") %>%


    html_text(trim = TRUE)


  abstract <- fetch_xml %>%


    html_node("div.abstract") %>%


    html_text(trim = TRUE)


  # Save to file


  writeLines(c(paste("Title:", title), paste("Abstract:", abstract)), paste0("article_", article_id, ".txt"))


}

三、借助第三方软件

除了编写脚本和使用NCBI提供的工具外，还可以借助一些第三方软件进行批量下载。例如，NCBI提供了一个名为PubMed2XL的工具，可以将搜索结果导出为Excel文件。此外，还有一些其他工具如EndNote、Zotero等，可以帮助用户进行文献管理和批量下载。

1、PubMed2XL

PubMed2XL是一款免费的Windows软件，可以将PubMed搜索结果导出为Excel文件。使用该工具，你可以进行复杂的搜索，并将搜索结果以结构化的方式保存到Excel中，方便进一步分析和处理。

2、EndNote和Zotero

EndNote和Zotero是两款常用的文献管理软件，除了可以帮助用户管理文献，还支持从PubMed等数据库批量下载文献数据。它们提供了直观的界面，用户可以方便地进行搜索、下载、管理和引用文献。

四、注意事项

1、API使用限制

在使用E-utilities等API进行批量下载时，需要注意API的使用限制。NCBI对API的使用有一定的限制，例如每秒请求次数、单次请求返回的最大记录数等。需要根据API的使用限制进行合理规划，避免触发反爬虫机制。

2、数据版权问题

在批量下载PubMed数据时，需要注意数据的版权问题。虽然PubMed本身是一个开放的数据库，但其中的文献可能受版权保护。在使用下载的数据进行发布、共享或商业用途时，需要遵守相关的版权法规。

3、网络连接稳定性

在进行大规模批量下载时，网络连接的稳定性是一个重要因素。建议使用稳定的网络环境，并在脚本中添加异常处理机制，以应对网络连接中断、请求超时等问题。

五、总结

批量下载PubMed数据是一个复杂但非常有用的任务，可以通过使用NCBI提供的工具、编写脚本或借助第三方软件来实现。使用NCBI工具如E-utilities、编写脚本、借助第三方软件是常见的方法。每种方法都有其优缺点，用户可以根据实际需求选择合适的方法。在实际操作中，需要注意API的使用限制、数据版权问题和网络连接的稳定性，以确保批量下载任务顺利完成。

相关问答FAQs：

1. 如何在PubMed数据库中批量下载文献？
在PubMed数据库中，您可以使用以下方法批量下载文献：

  • 首先，进行文献搜索并筛选出您所需的文献列表。
  • 然后，点击“Send to”按钮，选择“File”作为发送选项。
  • 接下来，选择“Format”选项，例如“PubMed”、“MEDLINE”或“RIS”等。
  • 最后，点击“Create File”按钮，即可将文献批量下载到您的计算机。

2. 如何在PubMed数据库中批量下载全文文献？
如果您想要批量下载PubMed数据库中的全文文献，可以按照以下步骤进行操作：

  • 首先，进行文献搜索并筛选出您所需的文献列表。
  • 然后，点击每篇文献标题旁边的“Full Text”按钮，以打开全文文献页面。
  • 接下来，点击全文文献页面上的“Download”按钮，选择适当的格式进行下载，如PDF或HTML。
  • 最后，重复以上步骤，直到您下载完所需的所有全文文献。

3. 如何在PubMed数据库中批量下载摘要信息？
如果您只需要批量下载PubMed数据库中文献的摘要信息，可以按照以下步骤进行操作：

  • 首先，进行文献搜索并筛选出您所需的文献列表。
  • 然后，点击“Send to”按钮，选择“File”作为发送选项。
  • 接下来，选择“Format”选项为“Summary”。
  • 最后，点击“Create File”按钮，即可将文献的摘要信息批量下载到您的计算机。

注意：根据PubMed的使用条款，批量下载的文献仅供个人学术研究使用，商业用途需获得版权方的许可。

文章包含AI辅助创作，作者：Edit1，如若转载，请注明出处：https://docs.pingcode.com/baike/1929733

赞 (0)
Edit1Edit1
免费注册
电话联系

4008001024

微信咨询
微信咨询
返回顶部