大数据领域的学习，基础扎实在Java编程语言上尤为关键。Java以其强类型和出色的跨平台能力，被广大开发者视为编写多种应用的*语言，当然也包括在大数据处理中常见的桌面应用、Web应用、分布式系统及嵌入式系统等。掌握了Java基础，可以说是迈出了大数据学习的重要一步。

鉴于大数据开发工作多在Linux环境下进行，学习者还需掌握Linux操作系统的基础操作命令。相较而言，Windows操作系统在处理大数据时可能因封闭性而受到一定限制。

Hadoop是大数据开发的核心框架，其HDFS和MapReduce两大核心组件分别负责海量数据的存储和计算。深入理解和操作Hadoop框架，包括其集群管理、YARN及高级管理等技术，对大数据学习者来说至关重要。

Hive是一个基于Hadoop的数据仓库工具，能够将结构化数据映射为数据库表并提供简单SQL查询功能。它能够将SQL语句转化为MapReduce任务，非常适合数据仓库的统计分析工作。学习者需掌握其安装、应用及高级操作等技能。

ZooKeeper则是Hadoop和Hbase的重要组件之一，为分布式应用提供一致务，包括配置维护、域名服务、分布式同步等功能。学习者应掌握ZooKeeper的常用命令及其功能实现方法。

HBase是一个面向列的分布式数据库，它更适合存储非结构化数据，具有高可靠性、高性能等特点。大数据开发者需深入理解HBase的基础知识、应用架构及高级用法。

phoenix作为一款基于JDBC API操作HBase的开源SQL引擎，提供了动态列、散列加载等众多特性。开发者需要了解其原理和使用方法，以便更好地运用这一工具处理HBase数据。

二、如何成长为一名优秀的大数据工程师

在当今这个信息爆炸的时代，大数据技术日益成为企业决策的关键支撑。大数据工程师作为与数据打交道的专业人士，其能力与价值正逐渐被社会所认可。

国内的大数据工作尚处于发展初期，因此大数据工程师的工作内容与要求会因公司而异。但具备计算机编码能力、数学及统计学背景是基础。如果有特定领域或行业的深入了解，将更有助于快速判断并抓住关键因素。

除了技术能力，优秀的大数据工程师还需具备一定的逻辑分析能力，能够迅速定位商业问题的关键属性和决定因素。学习能力使他们能够快速适应不同项目，并在短时间内成为该领域的专家；而沟通能力则保证了工作的顺利进行，无论是与市场部还是数据分析部门的协同工作。

大数据工程师的工作就像是“玩数据”，他们通过分析数据来发现过去事件的特征，进而帮助企业更好地认识消费者，预测其行为和未来的消费趋势。例如，腾讯的数据团队正在搭建数据仓库，通过梳理公司所有网络平台上的数据，总结出可供查询的特征，以支持公司各类业务对数据的需求。

根据业内专家的观察，大数据领域存在巨大的人才缺口。未来几年内，更多公司将开始重视并投入大数据研究和发展工作。对于那些热衷于数据、善于分析和创新的人来说，成为一名大数据工程师将是一个充满挑战和机遇的选择。

在百度，沈志勇致力于支持“百度预测”产品模型的研发工作，积极探索利用大数据为广大人群提供服务。已经上线的预测服务涵盖了世界杯、高考以及旅游景点等多个领域。以百度景点预测为例，大数据工程师需全面收集影响景点人流量的关键因素进行预测分析，并针对全国各大景点的未来拥挤程度进行分级——在接下来的几天内，这些景点将是畅通、拥挤还是一般拥挤？

不同企业的业务需求各异，大数据工程师通过数据分析实现多样化的目标。在腾讯，郑立峰认为最直观展现大数据工程师工作成果的案例便是选项测试（AB Test），即帮助产品经理在A、B两个方案中做出明智选择。过去决策者往往依赖经验进行判断，但现在大数据工程师可以通过大规模的实时测试来辅助决策。比如在社交网络产品的场景中，让一半用户看到A界面，另一半看到B界面，观察一段时间内的点击率和转化率，以此帮助市场部做出最终选择。

阿里巴巴作为电商巨头，则希望通过大数据精准锁定目标人群，帮助卖家实现更有效的营销。“我们更期待你能找到一批对产品更感兴趣的人群，相比现有用户。”薛贵荣表示。比如某人参卖家原本将目标人群定位为产妇，但工程师通过深入分析数据后发现，针对孕妇群体的营销转化率更高。

在采访过的BAT三家互联网大公司中，对大数据工程师的要求都是具备统计学和数学背景的硕士或博士学历。沈志勇强调，缺乏理论背景的数据工作者容易进入技能上的“危险区域”。在这个区域里，尽管按照不同的数据模型和算法总能得出一些结果，但如果你不理解其背后的意义，那些结果便没有实际价值，甚至可能误导。“只有具备理论知识，才能理解、复用甚至创新模型，解决实际问题。”他说。

实际开发能力和大规模数据处理能力是大数据工程师必备的核心技能。“因为数据的价值在于挖掘过程，你必须亲自操作才能发现其价值。”郑立峰解释道。

举个例子，社交网络上大量产生的记录都是非结构化的数据，如何从中提取有意义的信息就需要大数据工程师亲自挖掘。即使在某些团队中，大数据工程师的主要职责是商业分析，也需要熟悉计算机处理大数据的方式。

颜莉萍（Nicole Yan）认为，大数据工程师的角色至关重要的一点是不能脱离市场。因为大数据只有与特定领域的应用结合才能产生价值。拥有在一个或多个垂直行业的经验能为应聘者积累对行业认知，对成为大数据工程师大有裨益。

关于如何成为大数据工程师，由于目前大数据人才匮乏，公司很难招聘到合适的人才——既要求有高学历，又要有大规模数据处理经验。很多企业会通过内部挖掘的方式寻找人才。阿里巴巴曾举办大数据竞赛，通过比赛激励内部员工，同时也发掘外部人才。

颜莉萍建议，长期从事数据库管理、挖掘、编程工作的人，包括传统的量化分析师、Hadoop工程师，以及任何在工作中需要通过数据来进行判断决策的管理者，比如某些领域的运营经理等，都可以尝试大数据工程师的职位。各个领域的达人只要学会运用数据，也可以成为大数据工程师。

作为IT行业中的“大熊猫”，大数据工程师的收入待遇可谓*。在国内IT、通讯、行业招聘中，与大数据相关的职位占比已达10%，且这一比例还在持续上升。在国内*互联网公司，大数据工程师的薪酬可能比其他职位高出20%至30%，颇受企业重视。

9、Oozie：掌握了Hive之后，你必然会发现Oozie的独特之处。Oozie能够帮助你有效管理Hive、MapReduce或Spark脚本。它能监控你的程序执行情况，一旦发现错误即刻发出警报并支持程序重试。更重要的是，Oozie能够帮你配置任务的依赖关系，让你的工作流程更加清晰。相信你会对它的便利性感到满意，再也不用面对繁杂的脚本和密集的crond任务而感到困惑了。

10、Hbase：Hbase是Hadoop生态系统中的一款*SQL数据库。其数据以键值对的形式存储，且每个键都是*的。这使得Hbase在数据去重方面具有显著优势。与MYSQL相比，Hbase能够存储的数据量远大于后者。它常常被选作大数据处理后的存储目的地。

11、Kafka：Kafka是一个非常实用的队列工具。你知道排队买票的场景吗？当数据量庞大时，同样需要有序处理，以避免协作伙伴因处理大量数据（如数百G的文件）而感到压力山大。你可以将数据放入Kafka的队列中，这样他们就可以按需取用，不再为数据处理而烦恼。我们还可以利用Kafka进行线上实时数据的入库或入HDFS操作。与Flume工具配合使用，Flume专门负责对数据进行简单处理并写入各种数据接收方（如Kafka），可以进一步提高数据处理效率。

12、Spark：Spark是为了弥补MapReduce在处理数据速度上的不足而诞生的。它能够将数据加载到内存中进行计算，避免了读取缓慢且进化缓慢的硬盘。特别适合进行迭代运算，因此备受算法工程师们的喜爱。Spark是用scala编写的，Java语言或scala都可以操作它，因为它们都基于JVM。