要落地一个机器学习的项目,是有章可循的,通过这六个步骤,小白也能搞定机器学习。
看我闪电六连鞭!🤣
数据收集
数据是机器学习的基础,没有数据一切都是空谈!数据集的数据量和数据的质量往往决定了“事情的成败”。所以现在国内(比如百度的文言一心)搞大模型的公司,他们往往拥有“庞大的”数据资产。
数据到底从何而来?
数据的收集通常是比较费力的工作!我们通常通过开源的数据集、数据埋点、数据爬取来获取数据集。
下面介绍一些开源的数据集:
-
Kaggle:这是一个知名的数据科学社区,提供了大量的免费开源数据集,涵盖了多个领域和任务。网站地址:https://www.kaggle.com/datasets
-
UCI机器学习数据仓库:这是一个包含多个数据集的数据仓库,涵盖了多个领域和任务,如计算机科学、医学、金融等。网站地址:https://archive.ics.uci.edu/ml/index.php
-
Google Dataset Search:这是一个由Google提供的免费开源数据集搜索引擎,可用于搜索各种数据集,如图像、文本、音频等。网站地址:https://datasetsearch.research.google.com/
-
AWS数据集:这是由亚马逊AWS提供的免费开源数据集,包括天气数据、气象数据、医学数据等,可用于机器学习和数据科学。网站地址:https://registry.opendata.aws/
-
OpenML:这是一个由欧洲机器学习研究中心提供的免费开源数据集平台,包括多个数据集和任务,可用于机器学习和数据挖掘。网站地址:https://www.openml.org/
-
Data.gov:这是由美国政府提供的免费开源数据集平台,包括各种政府数据和公共数据,可用于统计分析和数据科学。网站地址:https://www.data.gov/
以下是一些医药行业的开源数据集
-
DrugBank:这是一个包含药物化合物、药品剂量、药理学数据等的数据库,用于药物研究和开发。网站地址:https://www.drugbank.ca/
-
PubChem:这是一个包含化学物质、化合物、生物分子等的数据库,用于生物化学和药物研究。网站地址:https://pubchem.ncbi.nlm.nih.gov/
-
TCGA:这是一个包含多种癌症数据的数据库,包括基因表达、突变、临床信息等,用于癌症研究和治疗。网站地址:https://www.cancer.gov/about-nci/organization/ccg/research/structural-genomics/tcga
-
GTEX:这是一个包含多个组织和器官的基因表达数据集,用于研究人类基因表达的变化和差异。网站地址:https://www.gtexportal.org/home/
-
MIMIC:这是一个包含多个重症监护患者的临床数据集,包括生理信号、诊断数据、药物治疗数据等,用于疾病预测和治疗。网站地址:https://mimic.mit.edu/
-
PhysioNet:这是一个包含多个生理信号数据集的数据库,包括心电图、脑电图、呼吸信号等,用于生理信号分析和诊断。网站地址:https://physionet.org/