如何刮擦嵌套的Div类

Question

嗨，我有一个本地HTML文件，其中包含聊天中的消息：

<div class="body">
<div class="pull_right date details" title="01.01.2022 01:01:01">
01:01
       </div>
<div class="from_name">
XYZ
       </div>
<div class="reply_to details">
In reply to <a href="#go_to_message23" onclick="return GoToMessage(747)">this message</a>
</div>
<div class="text">
Eat some chocolate
       </div>

现在我想创建一个DF，显示每条消息的某些信息。例如，我提取了用以下内容写消息的用户名称：

# doc.select('div[id]')[2].select_one('.from_name').text.strip()

messages = doc.select('div[id]')

for message in messages:
    print('---')
    try:
        print([message.select_one('.from_name').text.strip()])
    except:
        print("Couldn't find a name")

，但我不知道如何提取发送消息的日期。有人可以帮忙吗？谢谢

Answer 1

只需选择您的元素并调用其属性标题提取值：

select_one('div[title]').get('title')

示例

from bs4 import BeautifulSoup

html='''
<div class="body">
<div class="pull_right date details" title="01.01.2022 01:01:01">
01:01
       </div>
<div class="from_name">
XYZ
       </div>
<div class="reply_to details">
In reply to <a href="#go_to_message23" onclick="return GoToMessage(747)">this message</a>
</div>
<div class="text">
Eat some chocolate
       </div>'''

soup = BeautifulSoup(html)

data = []

for e in soup.select('div.body'):
    data.append({
        'date':e.select_one('div[title]').get('title'),
        'name':e.select_one('div.from_name').contents[0].strip(),
        'text':e.select_one('div.text').text.strip(),
    })
data

输出

 [{'date': '01.01.2022 01:01:01', 'name': 'XYZ', 'text': 'Eat some chocolate'}]

---

您可以简单地将结果转换为数据框：

import pandas as pd
pd.DataFrame(data)

输出

                  date name                text
0  01.01.2022 01:01:01  XYZ  Eat some chocolate