大数据技术真的hen牛吗？

我有20GB那么多的整数，对，往你家PC里多插几条8GB的内存条试试？

Ru果针对消费者市场，大数据的目标是对每个消费者有清楚的认知和跟踪。

）Ru果某台机器真的挂了无法恢复， 又或者由于隔壁的黄大牛要打魔兽了劫走了一台，如何把那台机器上那20GB的数据分给其余的9台，太扎心了。？

200GB算个啥大数据啊， 苍老师的合集dou不止咳咳……

我有20个整数，一把全装进内存，调用个sort，完事了，太硬核了。。

大数据听着hen牛，其实吧也hen牛吗？

大数据的商业价值

）我希望集群是可 的， Zui好架构Neng支持我只要简单地增加机器数目就Neng扩充集群的计算和存储Neng力， PPT你。 这个架构要怎么设计？

马云爸爸说未来是DT时代，大数据是Zui重要的资产，体验感拉满。。

建议题主有空去了解下mapreduce， hadoop，yarn，mpi，vfs等等内容，抓到重点了。。

）这200GB的整数，如何分配？

我们都... 所谓大数据，其实是有两部分组成的。一部分是海量运算存储Neng力，一部分是数据建模算法。

技术角度分析大数据

）Ru果这个集群用来Zuo离线计算， 怎么设计调度程序提高每台机器的资源利用率，减少集群内的网络IO和尽可Neng地提高每台机器的响应速度，要我说...？

过去你卖衣服的， 你的周转库存和滞销库存恐怕吃掉了你一半的利润dou不止；一旦有了大数据支撑，你的库存几乎Ke以忽略了。过去你搞设计的， 你耗尽心力设计出来的作品hen可Neng在市场上得不到认可；有了这个精准大杀器，消费者的数据会告诉你他们要什么你设计师锦上添花就好，真正的设计者其实是消费者自己，礼貌吗？。

吓尿了吧！？写外排序？你写啊！It's ONLY beginning！hen多人可是连内存里的快排dou写不出的哦~

）假设每一台机器上的数据douYi经完全排好，如何多快好省地把各自排序好的后来啊merge在一起，算是吧...？

那我现在有200GB那么多的整数……kan你丫的怎么装内存，哈哈哈哈哈哈！

大数据的误区与真实价值

只所以题主会这么说 是主要原因是题主作为局外人，Nengkan到的就只有这些表面的Zui直观的现象。一句简单的“数据分析变得智Neng了geng快了”的背后 其实吧是无数人付出的勤奋、创造力、勇敢还有艰辛！

你的年龄、 身高、家庭背景、收入水平、信用水平等等这些表面的客观的信息自不必说你此刻在哪里、喜欢什么颜色、喜欢什么风格、想要什么东西，douNeng够收集分析出来。之后便会在你正在kan的视频网站、正刷的APP，所有这些界面上呈现信息，引导你关注。

差点意思。 因为这项技术的进步，甚至Ke以提前预知你想要购买的东西，提前一步给你送达。

Ke以想象一下 你想买一个东西下单二十分钟就到你家门口了主要原因是早就预测到你什么时候想要什么了所以几天前预测到就提前发货到你小区的提货点了，闹乌龙。。

人的方面现在hen多传统的搞这些的统计方向的人经常会说“唉，现在dou搞算法去了”。没错， 坦白说... 算法就是人与机器协作的沟通方式，只有和机器深度合作，才Neng得到geng高的生产力。

大数据的挑战与机遇

）这10台机器之间如何通讯？没错，我不止坑了你去写外排序，我还得坑你去玩网络编程。

不靠谱。 大数据是近年来新出热门词汇， 人们对于大数据的理解还不够全面甚至存在一些误区，认为数据量大就是大数据，或者认为里面数字大也是大数据，其实吧这些只属于统计的范畴，和大数据是没有关系的。

“传统行业的数据， 收集和分析慢，互联网时代特别是移动互联网时代，数据收集和分析dou变得geng快geng智Neng，仅此而Yi吧。”

摸个底。 就是收集hen多用户数据，用机器进行处理嘛，干嘛整天吵得这么high。传统行业的数据， 收集和分析慢，互联网时代特别是移动互联网时代，数据收集和分析dou变得geng快geng智Neng，仅此而Yi吧。

大数据的未来与趋势

）如何设计有效的merge逻辑减少10台机器之间的网络IO。

Ru果数据不是200GB， 而是2TB，2PB……

闹乌龙。 成dou网站建设公司_创新互联，为您提供Zuo网站、品牌网站制作、定制开发、域名注册、网站改版、商城网站

好，现在有200GB的整数，排个序吧……呃，给你10台机器吧，我倾向于...。

传统的数据行业，一没有足够强的数据获取Neng力，二没有足够强的数据加工Neng力。包括以前靠预测总统大选起家的那家公司， 他们的采样是局限的， 不是我唱反调... 比如寄调查问卷，调查问卷这种采样是难以重现真实的，且方法。再说一个，数据处理Neng力也hen有限。

拖进度。 ）这么大的数据，这么大的集群，同一时间挂掉的机器数量可Neng会hen多。Ru果这个集群用来Zuo存储，怎么保证用户的数据不丢失？

未来三至五年，中国需要180万数据人才，但目前只有约30万人。到2020年， 说真的... 企业等数据产业的发展，我国需要geng多的数据人才。

这样的精准的服务，以后对消费者而言当然是习惯了就不再记得它有多伟大。就像过去的工业革命， 只有经历那个时代的当事人那个时代的缔造者们才会对那些创造充满激情，而我们对随手可得的电和各种电器还会有什么惊喜吗，动手。？

）谁去监听这10台机器的健康？或者是其他机器怎么知道某台机器挂了？Ru果是连接超时怎么知道是网络阻塞还是目标机真的挂了？

这一切， 在消费者的眼里也许也不是那么的了不起，不就是一下单马上就到嘛， 嗐... 不就是各种方便嘛，怎样还不是一样的活。但是这对商业而言却是惊天动地的。

一边，数据采样是覆盖几亿人口全天候的。这是大数据的第二个“大”，数量大。相对传统的抽样小样本集而言，大数据Ke以称之为全样本。正是这两个“大”，就Neng够带来数据的质变，冲鸭！。

认为大数据是geng快geng智Neng的处理技术的人， 只是认识到了大数据海量运算储存Neng力，而这部分只是量变，却没有认识到质变，C位出道。。

记住... 过去你搞营销的， 投入一大笔钱搞个营销方案，后来啊收效甚微；一旦有了这个精准大杀器，营销的投入风险就低多了。

大数据带来的精准对商业的影响是方方面面的。这是新时代对旧时代的淘汰。除了商业，还有大量别的用处，dou将深刻地改变世界。 盘它。 比如个人征信、医疗行业、Neng源行业、公路交通等等。太多太多， 这些dou会深刻地改变世界的运作方式

我有2GB那么多的整数，一把全装进内存……恩恩， 我心态崩了。 Ru果机器不那么破，勉强也完事吧。