熊猫将列表的列转换为文本数据预处理列

Question

我有一个看起来像这样的数据集：

情感	文本
阳性	['chewy'，'''，'dhepburn'，'sed']
中性	['chewy'，'plus'，'you'，'ve'，' ']

，我想将其转换为：

中性	我基本上想将“文本
性	dhepburn所说的
咀嚼	，您添加了

”列（由列表组成的“文本”列转换为文本列。

我已经完成了此代码的多个版本：

def joinr(words):
   return ','.join(words)

#df['text'] = df.apply(lambda row: joinr(row['text']), axis=1)
#df['text'] = df['text'].apply(lambda x: ' '.join([x]))
df['text'] = df['text'].apply(joinr)

而且我一直得到类似于此代码的东西：

情感	文本
呈阳性	['chew y'，'wha t'，'dhepbur n'，'sai d']
中性	['chew y'， 'plu s'，'yo u'，'v e'，'adde d']

这是ML模型预处理的数据。我正在Google Colab（类似于Juypter Notebook）工作。

Answer 1

我相信您的问题是轴= 1您不需要

data = {
    'sentiment' : ['positive', 'neutral'],
    'text' : ["['chewy', 'what', 'dhepburn', 'said']", "['chewy', 'plus', 'you', 've', 'added']"]
}
df = pd.DataFrame(data)
df['text'] = df['text'].apply(lambda x : x.replace('[', '')).apply(lambda x : x.replace(']', '')).apply(lambda x : x.replace("'", ''))
df['text'] = df['text'].apply(lambda x : x.split(','))
df['text'] = df['text'].agg(' '.join)
df

Answer 2

使用JOIN：

df['test'].str.join(' ')

演示：

df = pd.DataFrame({'test': [['chewy', 'what', 'dhepburn', 'said']]})
df['test'].str.join(' ')

输出：

0    chewy what dhepburn said
Name: test, dtype: object

基于评论：

#Preparing data
string = """sentiment   text
positive    ['chewy', 'what', 'dhepburn', 'said']
neutral ['chewy', 'plus', 'you', 've', 'added']"""
data = [x.split('\t') for x in string.split('\n')]
df = pd.DataFrame(data[1:], columns = data[0])

#Solution
df['text'].apply(lambda x: eval(x)).str.join(' ')

另外，您可以简单地使用：

df['text'].str.replace("\[|\]|'|,",'')

输出：

0    chewy what dhepburn said
1     chewy plus you ve added
Name: text, dtype: object

Answer 3

如果您有一个列表的字符串表示形式，则可以使用：

from ast import literal_eval

df['text'] = df['text'].apply(lambda x: ' '.join(literal_eval(x)))

如果真的只想删除括号和逗号，请使用正则：

df['text'] = df['text'].str.replace('[\[\',\]]', '', regex=True)

输出：

  sentiment                      text
0  positive  chewy what dhepburn said
1   neutral   chewy plus you ve added