如何在自定义网站中执行搜索并阅读结果？

Question

我正在开发一个功能，以在线下载蛋白质.pdb文件，这是我正在创建的代码的一部分，该代码是通过我们的Aibind Machine Learning模型生成的对接蛋白质和配体。对于这些蛋白质中的大约60％，我能够使用基因库将其HGNC ID转换为PDB ID，然后我通过网站Uniprot和RCSB查询下载PDB文件。但是，对于其他40％，仅存在用于蛋白质的计算生成的Alphafold PDB模型，而我一直使用的基因库并不识别这些蛋白质是具有有效的PDB ID的。值得庆幸的是，在Alphafold网站上有一个搜索功能，通过使用HGNC ID进行搜索，我会收到条目列表（顶部是我想要的蛋白质的99％），如下所示；

一旦我拥有Uniprot ID（在本示例中显示为Q7K0E6），然后我可以导航到Alphafold输入页面并访问文件服务器以下载该蛋白质的PDB文件，我我已经能够成功地针对我一直使用的数据库中具有注册Uniprot ID的蛋白质执行。

我一直在使用以下代码将搜索网页用作为搜索条目输入的HGNC符号刮擦，将所有HTML页面数据放入文本文件中。

  import urllib
  import urllib.request
  import requests

  url = 'https://alphafold.ebi.ac.uk/search/text/'
  fname = 'alphaname.txt'
  HGNC = 'vr1'
  url = url + 'vr1'

  get = urllib.request.urlopen(url)
  html = get.read()
  r = requests.get(url)
  with open(fname, "wb") as f:
       f.write(html) 

当我在文件本身（手册以及通过Python）中执行搜索时，我看不到任何被查询的条目中的数据作为搜索结果。

我如何使用Python从网站搜索功能中执行的搜索中检索数据？

Answer 1

数据通过JavaScript从外部URL加载。您可以使用请求模块对其进行仿真，例如：

import json
import requests


api_url = "https://alphafold.ebi.ac.uk/api/search"

params = {
    "q": "(text:*vr1 OR text:vr1*)",
    "type": "main",
    "start": "0",
    "rows": "20",
}

data = requests.get(api_url, params=params).json()

print(json.dumps(data, indent=4))

打印：

{
    "numFound": 112,
    "start": 0,
    "numFoundExact": true,
    "docs": [
        {
            "entryId": "AF-O35433-F1",
            "gene": "Trpv1",
            "geneT": [
                "Trpv1",
                "Vr1",
                "Vr1l"
            ],
            "geneSynonyms": [
                "Vr1",
                "Vr1l"
            ],
            "sequenceChecksum": "DAFC80B12BDF71BF",
            "sequenceVersionDate": "1998-01-01",
            "uniprotAccession": "O35433",
            "uniprotAccessionT": "O35433",
            "uniprotId": "TRPV1_RAT",
            "uniprotDescription": "Transient receptor potential cation channel subfamily V member 1",
            "protein": [
                "Transient receptor potential cation channel subfamily V member 1",
                "Capsaicin receptor",
                "Osm-9-like TRP channel 1",
                "Vanilloid receptor 1",
                "Vanilloid receptor type 1-like",
                "OTRPC1"
            ],
            "taxId": 10116,
            "organismScientificName": "Rattus norvegicus",
            "organism": [
                "Rattus norvegicus",
                "Rat"
            ],
            "globalMetricValue": 71.55,
            "uniprotStart": 1,
            "uniprotEnd": 838,
            "uniprotSequence": "MEQRASLDSEESESPPQENSCLDPPDRDPNCKPPPVKPHIFTTRSRTRLFGKGDSEEASPLDCPYEEGGLASCPIITVSSVLTIQRPGDGPASVRPSSQDSVSAGEKPPRLYDRRSIFDAVAQSNCQELESLLPFLQRSKKRLTDSEFKDPETGKTCLLKAMLNLHNGQNDTIALLLDVARKTDSLKQFVNASYTDSYYKGQTALHIAIERRNMTLVTLLVENGADVQAAANGDFFKKTKGRPGFYFGELPLSLAACTNQLAIVKFLLQNSWQPADISARDSVGNTVLHALVEVADNTVDNTKFVTSMYNEILILGAKLHPTLKLEEITNRKGLTPLALAASSGKIGVLAYILQREIHEPECRHLSRKFTEWAYGPVHSSLYDLSCIDTCEKNSVLEVIAYSSSETPNRHDMLLVEPLNRLLQDKWDRFVKRIFYFNFFVYCLYMIIFTAAAYYRPVEGLPPYKLKNTVGDYFRVTGEILSVSGGVYFFFRGIQYFLQRRPSLKSLFVDSYSEILFFVQSLFMLVSVVLYFSQRKEYVASMVFSLAMGWTNMLYYTRGFQQMGIYAVMIEKMILRDLCRFMFVYLVFLFGFSTAVVTLIEDGKNNSLPMESTPHKCRGSACKPGNSYNSLYSTCLELFKFTIGMGDLEFTENYDFKAVFIILLLAYVILTYILLLNMLIALMGETVNKIAQESKNIWKLQRAITILDTEKSFLKCMRKAFRSGKLLQVGFTPDGKDDYRWCFRVDEVNWTTWNTNVGIINEDPGNCEGVKRTLSFSLRSGRVSGRNWKNFALVPLLRDASTRDRHATQQEEVQLKHYTGSLKPEDAEVFKDSMVPGEK",
            "modelCreatedDate": "2021-07-01",
            "organismCommonNames": [
                "Rat"
            ],
            "proteinFullNames": [
                "Capsaicin receptor",
                "Osm-9-like TRP channel 1",
                "Vanilloid receptor 1",
                "Vanilloid receptor type 1-like"
            ],
            "proteinShortNames": [
                "OTRPC1"
            ],
            "latestVersion": 2,
            "allVersions": [
                1,
                2
            ],
            "_version_": 1723016518349881344
        },
        {
            "entryId": "AF-Q7K0E6-F1",
            "gene": "AspRS",
            "geneT": [

...