如何在sckit-learn最近的伯爵中使用自定义项目标识符

Question

我将Sckit-Learn最近的尼克伯器用作电影镜头数据库的推荐引擎。推荐引擎是一个基于项目项目的推荐人（一个项目的邻居是其他项目）。

我正在将算法的腌制版本放在API烧瓶应用程序后面。

我使用电影的电影镜头ID（标识符），这些电影不是连续的。例如：电影1，电影2，电影3，电影7，电影11等（没有电影5、6、8、9、10）。这些ID被存储为PANDAS DataFrame的INT64Index。

为了允许检索合适的电影邻居，我需要两件事：

• 要根据其电影镜头ID检索正确的电影向量。
• 最近的Neighbors算法必须返回那些自定义ID作为邻居，而不是Numpy Array的连续IDS，

否则我不会，我不会能够在Numpy ID和电影镜头ID之间建立关系。

有办法做到吗？还是您认为还有另一个适合我用例的批准？

我查找了of of of 最近的neighbors.fit（）方法的源代码，并且看起来数据框在某个时候变成了常规的numpy数组，并且“忘记”了自定义ID。

令我惊讶的是，对于这种常见用例，没有这样的选择。也许我缺少一些东西。

这是我到目前为止使用的代码：

# The traning part :
# ==================

import pandas as pd
from sklearn.neighbors import NearestNeighbors
from scipy.sparse import csr_matrix
import pickle

df = pd.read_csv('movie_lens_ratings.csv')

# Here the custom movie IDs are stored as the index of the pivot DF :
df_pivot = df.pivot_table(index='movieId', columns='userId', values='rating').fillna(0)

sparse = csr_matrix(df_pivot.values)

knn = NearestNeighbors(metric='cosine', algorithm='brute', n_neighbors=5)
knn.fit(df_pivot)

pickle.dump(knn, open('knn_movie_lens.pkl', 'wb'))

# The API part :
# ==================

class KnnRecommender:
    def __init__(self, movie_lens_id):
        self.movie_lens_id = movie_lens_id

    def recommend(self):
        model: NearestNeighbors = pickle.load(open(f'knn_movie_lens.pkl', 'rb'))
        # Here I fetch the training data. It's a regular numpy array,
        # without any custom indices :
        data: csr_matrix = model._fit_X

        # This will return wrong movie vector, since self.movie_lens_id does not
        # match the numpy indices :
        movie_rating_vector: np.ndarray = data.getrow(self.movie_lens_id).toarray()

        # Here, the neighbors are contiguous numpy indices. I cannot use them
        # to retrieve proper movies from my database :
        distances, neighbors = model.kneighbors(movie_rating_vector)

        return neighbors

谢谢

Answer 1

事实上，sklearn 转换为 numpy 数组。他们在保留附加信息（列名称）方面取得了长足进步，但由于其效率，处理可能会继续使用 numpy。

我只需将电影镜头 ID 列表/数组/索引保存为额外属性，并将预测的连续 numpy 索引映射到电影 ID。