【CIO观察】大数据离企业用户到底有多远?

一面政策积极利导,一面IT厂商加大鼓吹力度,新一轮大数据之风仍难掩“曲高和寡”的尴尬境地。那么,阻碍大数据应用快速落地的瓶颈到底在哪里呢?

【51CTO记者 李玲玲 北京报道】未来是大数据的时代,大数据因此成为一项国家的长远发展战略。近两年的政[……]

查看全文

Kafka实战:从RDBMS到Hadoop,七步实现实时传输

 

本文是关于Flume成功应用Kafka的研究案例,深入剖析它是如何将RDBMS实时数据流导入到HDFS的Hive表中。

对于那些想要把数据快速摄取到Hadoop中的企业来讲,Kafka是一个很好的选择。Kafka是什么?Kafka是一个分布式、可伸缩、可信赖的消息传递系统,利用发布-订阅模型来集成应[……]

查看全文

大数据会撒谎?如何戳破大数据的谎言

数据科学家使用统计分析工具深度挖掘数据潜在的内容时经常会遭遇到大数据挖的坑,实际上这些坑并不是只有大数据才有,大自然本身就存在很多虚假的相关性,大数据只是更加剧了这种虚假的相关性。

随着数据来源的增多和预测类型的多样化,数据建模关系的数量开始接近无穷大。正如David[……]

查看全文

【哈佛商评】关于数据分析,管理者的四个常规错误

【哈佛商评】关于数据分析,管理者的四个常规错误

有关数据和数据分析的高谈阔论比比皆是。不断有人告诫各大公司要规划恰当战略来收集分析大数据,并警告不这么做可能带来的不良后果。像《华尔街日报》近日就提到公司享有客户数据这样一个大宝藏,却大都不知道该如何利用。本文将探讨其中缘由。有公司尝试从巨大的数据中获取实际可用的信息[……]

查看全文

大数据和实时分析的算法分类

大数据和实时分析的算法分类

如今,大数据技术的发展和进步开辟了收集和传输大量的数据更有效的新方式。这场革命促进了实时算法和方法的研究和发展。传统上,机器学习算法并不是专为实时处理而设计的。事实上,数据的科学竞赛(如Netflix,Kaggle)由于算法昂贵,并且不切实际的使用,并且计算量很大,这[……]

查看全文

数据分析师的能力和工具体系

数据分析师的能力和工具体系

之前我在回答里写过,数据分析师和圣骑士职业很相似,都需要“门门通”。最近,我尝试对数据分析师的能力和工具体系进行梳理,以下内容为一家之言,仅供参考。

数据分析师的能力体系

如下图:

数据分析师的能力和工具体系

数学知识

数学知识是数据分析师的基础知识。

对于[……]

查看全文

数据科学中最好的5个机器学习API

机器学习作为大数据的前沿无疑是让人生畏的,因为只有技术极客和数据科学领域的专家才能驾驭机器学习算法和技术,对于大部分企业和组织而言,过去这一直都是一个遥不可及的事情。但是现在这种情况正在发生改变,正如标准的API简化了应用程序的开发一样,机器学习API也降低了这一领域的门[……]

查看全文

大数据热中的冷思考

时下,大数据热持续升温,大数据一词已成为各种公开场合中最为炙手可热的关键词。大数据热已成为一股汹涌澎湃的潮流,于是乎,各种大数据概念满天飞,人人都在谈论大数据,仿佛你的发言中没有提到大数据,你的成果中没有应用到大数据,那你就彻底OUT了。

大数据热中的冷思考

历史反复告诉我们:当一件事[……]

查看全文

IEEE Spectrum公布编程语言最新排行:大数据是赢家

一年一度的IEEE Spectrum编程语言排行盛宴又来了,来看看今年7月26日发布的前十名榜单。

IEEE Spectrum公布编程语言最新排行:大数据是赢家

这个排行榜已经进行了三年。IEEE Spectrum的排序是来自10个重要数据源的综合,例如 IEEE Xplore, GitHub, CareerBuilder 等[……]

查看全文

人人都需要知道 关于大数据最常见的10个问题

人人都需要知道 关于大数据最常见的10个问题

1、云计算与大数据是什么关系?

云计算的关键词在于“整合”,无论你是通过现在已经很成熟的传统的虚拟机切分型技术,还是通过google后来所使用的海量节点聚合型技术,他都是通过将海量的服务器资源通过网络进行整合,调度分配给用户,从而解决用户因为[……]

查看全文