欢迎访问法甲下注_法甲竞猜_法甲联赛下注-官网有限公司官网 !

法甲下注_法甲竞猜_法甲联赛下注-官网

联系我们

全国咨询热线:0755-33506161

公司名称:深圳市法甲下注有限公司
电话:0755-33506161
传真:0755-33605535
手机:13922830701
地址:深圳市宝安区松岗镇广田路天恒石材市场8号厂房

[法甲联赛下注]当小内存遇上大量数据,你该怎么

文章来源:http://www.cityml.com 发表时间:2020-04-21 作者:admin

法甲联赛下注是24小时提供时政新闻,国内新闻,国际新闻,生活新闻,时事热点,新闻图片,军事,历史,生活,的专业时事报道门户网站。

作者丨Itamar Turner-Trauring

译者丨夏夜

策划丨万佳

当你写了一个处理数据的软件,它可能在小样本文件上运行地很好,但一旦加载大量真实数据后,这个软件就会崩溃。

问题在于你没有足够的内存——如果你有 16GB 的 RAM ,你就无法一次载入 100GB 大小的文件。载入这么大的文件时,操作系统在某个时刻就会耗尽内存,不能分配存储单元,你的程序也就会崩溃。

所以,你该怎样防止这类情况发生?你可以启动一个大数据集群——你所需要做的是:

搞到一个计算机集群。 花一周时间搭建这个集群。 大部分情况下,你需要学习一套全新的 API,重写你所有的代码。

这个代价可能很昂贵,会令人沮丧;幸运的是,大部分情况下,我们不必这样做。

你需要一个简单而容易的解决方案:在单机上处理你的数据,最小化环境搭建开销,尽可能利用你正在使用的代码库。实际上,大部分情况你都可以做到这样,只要使用一些方法即可,有时候这些方法被称为“核外计算”(out-of-core computation)。

本文将介绍如下内容:

你究竟为什么需要 RAM。 处理无法放入内存的数据最简单的方法:花些钱。 处理大量数据的三种基本软件方法:压缩、分块、索引。

之后的文章将会展示如何把这些方法应用到诸如 NumPy 和 Pandas 这样的库中。

1你究竟为什么需要 RAM?

在我们开始解释解决方案前,我们要弄清楚该问题是如何产生的。我们的计算机内存(RAM)能让你读写数据,但是你的硬盘也可以读写数据——那为什么计算机还需要 RAM 呢?硬盘比 RAM 更便宜,所以它通常大到能够容纳下你的所有数据,那为什么你的代码不能直接从硬盘读写数据呢?

理论上讲,这也行得通的。但是,即使是最现代化且速度很快的 SSD 硬盘也比 RAM 慢太多:

从 SSD 上读取数据: 大约 1.6 万纳秒 从 RAM 上读取数据: 大于 100 纳秒

如果你想要实现快速计算,数据就只能放在 RAM 中,否则你的代码运行时就会慢上 150 倍。

2资金方面的解决方案:购买更多的 RAM

没有足够 RAM 时的最简单解决方案就是花钱来解决。你要么购买一台计算机,或者租一台云端的虚拟机(VM:Virtual Machine,这会比大多数笔记本电脑贵得多)。2019 年 11 月,我稍微调研了一下,在价格方面做了一些比较,发现你可以这样: