热点网|医学教育网|北京pk10开奖直播 pk10开奖直播 北京赛车pk10 pk10开奖直播 北京赛车pk10 PK10开奖直播 北京赛车pk10开奖直播 北京pk10 北京pk10
你好,游客 登录
背景:
阅读新闻

数据处理性能对比(Python原生vs Pandas vs Numpy)

[日期:2017-11-07] 来源:数据工匠  作者:佚名 [字体: ]

  对于任何数据科学家来说,速度和时间都是一个关键因素<<。在商业活动中<,通常不会使用仅仅有数千个样本的玩具数据集<。大部分时候你的数据集包括数百万或数亿个样本??突Ф┑?,网络日志<<,帐单活动<,股票价格等 - 现在的数据集非常庞大<。

  我猜你不会想花几个小时或几天<<,等待你的数据处理完成<。迄今为止<,我所使用的最大数据集包含超过3000万条记录。当我第一次运行数据处理脚本时,预估的完成时间约为4天!我没有非常强大的机器(Macbook Air与i5和4 GB的RAM)<,但我可以保证一晚上运行完脚本而不是数天<<。

  感谢一些聪明的技巧,我能够将这个运行时间缩短到几个小时。这篇文章将解释实现良好数据处理性能的第一步 - 为您的数据集选择正确的库/框架。

  下图显示了我的实验结果(详情如下),与纯Python的处理速度做出对比<。

大数据

  如你所见,Numpy的表现比Pandas的表现要好几倍。我个人喜欢用Pandas来简化许多繁琐的数据科学任务<,它是我的首选工具<。但是如果预计的处理时间超过多个小时,那么很遗憾,我只能使用Numpy来替代Pandas。

  我非常清楚实际的性能可能会有很大的不同<<,这取决于任务和处理类型。所以请把这些结果仅仅作为参考<。没有任何一个单独的测试可以全面对比所有软件工具的性能。

  简介

  在下面的 Notebook 中你将会比较 Python 原生方法, Pandas 和 Numpy 处理数据的速度。

  导入?<??/p>

数据处理性能对比(Python原生vs Pandas vs Numpy)

  制作模拟随机数据集

数据处理性能对比(Python原生vs Pandas vs Numpy)
数据处理性能对比(Python原生vs Pandas vs Numpy)
数据处理性能对比(Python原生vs Pandas vs Numpy)

  Dataset size 54818 records

数据处理性能对比(Python原生vs Pandas vs Numpy)
数据处理性能对比(Python原生vs Pandas vs Numpy)

  Python 原生方法

数据处理性能对比(Python原生vs Pandas vs Numpy)

  Pandas 方法

数据处理性能对比(Python原生vs Pandas vs Numpy)

  Numpy 方法

数据处理性能对比(Python原生vs Pandas vs Numpy)

  检查是否所有的方法生成同样的结果

数据处理性能对比(Python原生vs Pandas vs Numpy)
数据处理性能对比(Python原生vs Pandas vs Numpy)

  比较运行时间

数据处理性能对比(Python原生vs Pandas vs Numpy)

  Python average time: 38.77917420864105 seconds

数据处理性能对比(Python原生vs Pandas vs Numpy)

  Pandas average time: 10.483694124221802 seconds

数据处理性能对比(Python原生vs Pandas vs Numpy)

  Numpy average time: 2.914765810966492 seconds

  展示结果

数据处理性能对比(Python原生vs Pandas vs Numpy)
数据处理性能对比(Python原生vs Pandas vs Numpy)




收藏 推荐 打印 | 录入:Cstor | 阅读:
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数
点评:
       
评论声明
  • 尊重网上道德<<,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款
  • 陈志朋《Patience》欣赏版MV首发 造型再创新潮陈志朋 2018-05-20
  • 纽约前市长:华府谎言当道,将威胁美国民主制度 2018-05-20
  • 孩子将来不孝顺的4个信号,第三种必须立即纠正! 2018-05-20
  • 王国平:杭州明确重点发展八大门类文化创意产业 2018-05-19
  • 失眠和心理病是难兄难弟 2018-05-19
  • 紫光阁中共中央国家机关工作委员会 2018-05-19
  • 吉利博越优惠达0.2万 数量有限颜色可选 2018-05-18
  • 历害!禅师用简单一招让他祛除病魔 2018-05-18
  • NATUZZI 2018和谐共生的艺术之家合作项目正式启动 2018-05-17
  • 人气更高!济南正从门票经济向旅游产业经济转型 2018-05-17
  • 互联网论坛社区服务管理规定 2018-05-16
  • 2013博鳌亚洲论坛嘉宾精彩演讲 2018-05-16
  • 发现使用专利字体 南京一侵权方修改后公证 2018-05-16
  • 不对称耳环已经不再新鲜 那什么最时髦呢? 2018-05-15
  • 锡马专刊 PB衫、破三奖杯、纪录片,锡马五年,我们不说再见! 2018-05-15
  • 阿启网 | 男士时尚 | 冠珠陶瓷 | 网站运营 | 系统盒 | 重庆周边旅游景点大全 | 海南房产 | 现金炸金花 | 快递单号网点查询 | 网贷tansend | 微信群 | 冠珠陶瓷 | 创业者 | 在线教程 |