关于安尔法

【连载2】人工智能解惑进阶|伯克利AI课程

Alpha 安尔法智控Alpha工业物联 2024-07-17

课程笔记:机器学习基础Week 3









学习目标





1.讨论数据科学生命周期的真实世界背景。

2.操作给定数据集的数据。

3.使用pandas、Seaborn和Plotly生成可视化图表。

4.使用外部文档自定义图表。

5.使用pandas.groupby进行数据操作。

使用set index和reset index在数据帧之间进行计算。





数据分析基础








数据科学生命周期

  • 问题定义:首先需要提出一个明确的问题。例如:预测房屋的销售价格。

  • 数据获取与理解:找到相关数据并理解其内容。例如:数据集的行和列代表什么?哪些数据是有用的?哪些数据缺失?

  • 数据准备:清洗和准备数据以供模型使用。

  • 建模:使用清洗后的数据训练模型。

  • 评估:评估模型的性能。

  • 部署:将模型部署到生产环境中。


















Cross-Industry Standard Process for Data Mining(CRISP-DM)框架






  • 业务理解:定义问题,例如预测房屋价格。

  • 数据理解:理解数据集的结构和内容。

  • 数据准备:清洗和准备数据。

  • 建模:选择合适的模型进行训练,例如线性回归。

  • 评估:使用如均方根误差(RMSE)等指标评估模型。

  • 部署:将模型部署到生产环境中。





Week 4








  • 使用 pandas.merge 合并数据集


  • 在 pandas、Seaborn 和 Plotly 中创建各种类型的图表


  • 讨论每个绘图库的优缺点


  • 在 pandas 中进行字符串操作


  • 导入和清理真实世界数据集中的混乱数据


  • 常用于数据可视化的图形的意义、用法及代码表示



1.箱型图 (Box Plot)



  • 意义:展示数据分布的集中趋势和离散程度,通过五个统计量(最小值、第一四分位数、中位数、第三四分位数、最大值)来描述数据集的特性,并通过异常值标识出数据中的离群点。

  • 用法:常用于比较不同类别数据的分布情况。





示例:




>

2.小提琴图 (Violin Plot)

  • 意义:结合箱型图和密度图的优点,展示数据的分布情况以及密度估计。通过左右对称的形状,表示出数据在不同取值范围内的分布密度。

  • 用法:适用于查看数据分布和数据密度的情况,并对比不同类别的数据分布。





示例:





3.散点图(Scatter Plot)

  • 意义:通过点的位置表示两个变量之间的关系,可以直观地看出数据的分布趋势和离群点。

  • 用法:用于分析两个变量之间的关系。

>

4.密度热图 (Density Heatmap)

  • 意义:通过颜色表示数据点的密集程度,展示数据分布的总体趋势。

  • 用法:用于查看数据点的密集区域。


5.联合图 (Joint Plot)

  • 意义:结合散点图和边际图,展示两个变量之间的关系以及它们各自的分布。

  • 用法:用于深入分析两个变量的联合分布。





数据清洗步骤及关键代码








数据抓取网址推荐(可将网页中的表格提取成为CSV文件):


Author

作者简介


01

作者:粟登洋

01

中国矿业大学(北京)人工智能硕士 实习工程师

研究方向为选矿设备、选矿流程的智能化。本科期间曾获全国大学生数学竞赛二等奖、北京市大学生数学竞赛一等奖、矿大(北京)第九届力学竞赛二等奖、校奖学金等。研究生阶段。

02

研究生导师:徐宏祥

03

中国矿业大学(北京) 副教授 博导

博士毕业于中国矿业大学,矿物加工工程专业(导师:刘炯天院士)。美国哥伦比亚大学,环境工程系联合培养博士(导师:Ponisseril Somasundaran 教授)。目前在中国矿业大学(北京)担任化环学院矿加系主任,博士生导师。曾主持多项国家/省级科研课题。主要研究方向包括:微细粒分选理论及选矿工艺、低品质煤高效分选过程强化、工业水处理、分子动力学模拟、矿物资源综合利用、矿物加工设备智能化等。


了解更多


联系方式



陈经理

微信:C1184531314


    网址:

   www.alpha1888.com (中文站)

   www.alpha-technology.com.au(英文站)




END


合作伙伴 | 知名客户

如有疑问或想了解更多,请咨询:028-83311885

关注我们

  • 了解行业最新资讯 扫码关注微信

X

欢迎来到安尔法!
请问有什么需要帮助的吗?