简介： 值得收藏，数据工程师必须掌握的7个大数据实战项目
1
作为一名电影爱好者，我阅片无数，有些片子还经常翻来覆去看个好几遍。小时候因为这事儿，没少被我妈抓耳朵，“看过的片子为啥还要倒二遍？”我也说不上来，就是单纯的爱看。
男人爱看的电影，以武侠，动作，科技为多，也认识了一帮明星，比如尼古拉斯凯奇，史泰龙，李小龙，成龙，李连杰，甄子丹等等。这些人很猛，有男人气。只要是他们的片儿，肯定不落下。在我眼里，他们就是好片代名词。
不知几何时，电影上开始出现一些不认识的男明星了，比如张翰，韩庚，鹿晗等等。看着这些人主演的片子，真是……哎，能不睡着就算是对得起票钱了。
后来我从半佛那里才知道，啥叫鲜肉，啥叫老阿姨审美。假如看到有更嫩的男演员，不用问了，老阿姨审美又变了。注定又是一部烂片。
那么，审美可以变，审词呢？
比如这几年，媒体一直在炒作的大数据，用前卫的词儿来说，Big Data. 听得人耳朵老茧都涨了一层。那么 大家是真把它当做有效的工具呢，还是固执的认为又是换汤不换药的营销噱头呢？
为弄清楚这个问题，我查了很多资料，中文的，外文的，百度文库的， Google 论文。期间的所见所闻可以写 3 部小说还不止。
令我印象最深的还属这件事：
《纽约时报》将 1851 - 1922 之间的 1100 多万篇文章，在24小时内花费3000美金，转成 PDF 供大众搜索查看。
资料背景指出，这些文章已经做好了 TIFF 图档格式，要解决的本质问题就是将 TIFF 转换成 PDF.这件事情，工作量非常大。单纯写代码转换，可行，但对完工时间不好把握。
此时有个工程师，仅凭一人之力完成了这项工作，整个过程，他只做了 4 件事情：
1） 首先他是资深编程爱好者。平常阅读技术Blog,知道 AWS, S3,EC2 等云计算概念，还熟悉 Google 的 MapReduce 论文，并且知道 Hadoop 的功能。
2）于是他自己在他的个人电脑上，搭建了Hadoop，玩起大数据，利用 MapReduce 来试着完成 TIFF 到 PDF 的转换；
3）接着在 Amazon 上申请 4 台 EC2 的主机，搭建了 Hadoop 集群，跑了一批 TIFF 到 PDF 转换程序。发现居然可行。
4）大规模实施批量转换，用了 24 个小时，3000 美金，最终将 1100 万文章的影音图像，转成了 PDF，并对外提供服务。
再举一些经过报道的大数据应用案例：
Yahoo!使用4000节点的集群运行 Hadoop, 支持广告系统和 Web 搜索;
Facebook 使用 1000 节点运行 Hadoop, 存储日志数据，支持其上的数据分析和机器学习；
百度使用 Hadoop 处理每周 200TB 的数据，进行搜索日志分析和网页数据挖掘工作；
中移动基于 Hadoop 开发了 BigCloud 系统，提供对内外的数据支持；
淘宝的 Hadoop 则处理电子商务交易数据。
初学者要入门大数据，最好的方式，从了解具体的应用开始。掌握大数据能做哪些事情，完成哪些小数据做不到的功能，学着才有意思。只有学着有意思，才会继续往下学。越学越想学，越学越开心，自然也就学好了。
接下来，我整理一些大数据已经发挥它真正作用的应用场景，如果你要做大数据项目，肯定离不开这7个范畴。
因此，你说大数据离我们远吗，我说肯定很近。不管你信不信，反正我信了。
