推荐算法实践：movielens数据集

MovieLens 数据集介绍

MovieLens 数据集是由明尼苏达大学的GroupLens研究小组维护的一个广泛使用的电影评分数据集，主要用于推荐系统的研究。该数据集包含用户对电影的评分、标签以及其他相关信息，是电影推荐系统开发与研究的常用数据源。

数据集版本

MovieLens 数据集有多个版本，不同版本的数据集规模和内容有所不同：
MovieLens 100k 数据集：包含943位用户对1682部电影的100,000条评分数据，评分范围为1到5分。
MovieLens 1M 数据集：包含1000名用户对3900部电影的100万条评分数据。
MovieLens 10M 数据集：包含71,567名用户对10,681部电影的1000万条评分数据。
MovieLens 20M 数据集：包含138,000名用户对27,000部电影的2000万条评分数据。
MovieLens 25M 数据集：是目前最新发布的版本，包含更多的用户和电影数据。

数据集结构

数据集通常包含以下主要文件：

用户信息文件（Users.dat），包含用户的基本信息，如用户ID、性别、年龄、职业等。

UserID：用户唯一标识。从1~6040，代表了6040个MovieLens用户
Gender：性别（M表示男性，F表示女性）。
Age：用户年龄，分成了7组
- 1: “Under 18”
- 18: “18-24”
- 25: “25-34”
- 35: “35-44”
- 45: “45-49”
- 50: “50-55”
- 56: “56+”
Occupation：用户职业，如学生、教师、工程师等。
- 0: “other” or not specified
- 1: “academic/educator”
- 2: “artist”
- 3: “clerical/admin”
- 4: “college/grad student”
- 5: “customer service”
- 6: “doctor/health care”
- 7: “executive/managerial”
- 8: “farmer”
- 9: “homemaker”
- 10: “K-12 student”
- 11: “lawyer”
- 12: “programmer”
- 13: “retired”
- 14: “sales/marketing”
- 15: “scientist”
- 16: “self-employed”
- 17: “technician/engineer”
- 18: “tradesman/craftsman”
- 19: “unemployed”
- 20: “writer”
Zip-code：用户所在地区的邮政编码。

电影信息文件（Movies.dat），MovieID::Title::Genres。

MovieID：电影唯一标识。从1~3952，代表了3952部电影
Title：电影标题，通常包含电影名称和发行年份。
Genres：电影题材由竖线分开，包括动作喜剧等18种电影类型，如“Action|Comedy”。
- Action
- Adventure
- Animation
- Children’s
- Comedy
- Crime
- Documentary
- Drama
- Fantasy
- Film-Noir
- Horror
- Musical
- Mystery
- Romance
- Sci-Fi
- Thriller
- War
- Western

评分文件（Ratings.dat），UserID::MovieID::Rating::Timestamp

UserID：用户唯一标识。
MovieID：电影唯一标识。
Rating：用户对电影的评分，通常为1到5的整数。
Timestamp：评分的时间戳，表示自1970年1月1日以来的秒数。

标签文件（Tags.dat）包含用户为电影添加的标签。

UserID：用户唯一标识。
MovieID：电影唯一标识。
Tag：用户为电影添加的标签内容。
Timestamp：标签添加的时间戳。

数据集下载

https://files.grouplens.org/datasets/movielens/
https://grouplens.org/datasets/movielens/

数据集解析

以下是一个基于Python和Pandas库的MovieLens数据集解析代码示例，适用于常见的MovieLens数据集（如ml-100k或ml-1m）：

import pandas as pd

# 定义数据集文件路径
user_file = 'users.dat'  # 用户信息文件
movie_file = 'movies.dat'  # 电影信息文件
rating_file = 'ratings.dat'  # 评分信息文件

# 定义数据集的列名
user_columns = ['user_id', 'gender', 'age', 'occupation', 'zip']
movie_columns = ['movie_id', 'title', 'genres']
rating_columns = ['user_id', 'movie_id', 'rating', 'timestamp']

# 读取数据
user_df = pd.read_csv(user_file, sep='::', header=None, names=user_columns, engine='python')
movie_df = pd.read_csv(movie_file, sep='::', header=None, names=movie_columns, engine='python', encoding='ISO-8859-1')
rating_df = pd.read_csv(rating_file, sep='::', header=None, names=rating_columns, engine='python')

# 查看数据的前几行
print("用户数据前几行：")
print(user_df.head())
print("\n电影数据前几行：")
print(movie_df.head())
print("\n评分数据前几行：")
print(rating_df.head())