大数据工程师需要学历吗?

4个回答默认排序

默认排序

按时间排序

つ单曲循环谁在唱歌

已采纳

大数据工程师需要学历吗?需要的，最起码需要本科以上的学历。从企业方面来说，大数据人才大致可以分为产品和市场分析、安全和风险分析以及商业智能三大领域。产品分析是指通过算法来测试新产品的有效性，是一个相对较新的领域。在安全和风险分析方面，数据科学家们知道需要收集哪些数据、如何进行快速分析，并最终通过分析信息来有效遏制网络入侵或抓住网络罪犯。一、ETL研发随着数据种类的不断增加，企业对数据整合专业人才的需求越来越旺盛。ETL开发者与不同的数据来源和组织打交道，从不同的源头抽取数据，转换并导入数据仓库以满足企业的需要。ETL研发，主要负责将分散的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成，最后加载到数据仓库或数据集市中，成为联机分析处理、数据挖掘的基础。目前，ETL行业相对成熟，相关岗位的工作生命周期比较长，通常由内部员工和外包合同商之间通力完成。ETL人才在大数据时代炙手可热的原因之一是：在企业大数据应用的早期阶段，Hadoop只是穷人的ETL。二、Hadoop开发Hadoop的核心是HDFS和MapReduce.HDFS提供了海量数据的存储，MapReduce提供了对数据的计算。随着数据集规模不断增大，而传统BI的数据处理成本过高，企业对Hadoop及相关的廉价数据处理技术如Hive、HBase、MapReduce、Pig等的需求将持续增长。如今具备Hadoop框架经验的技术人员是抢手的大数据人才。三、可视化（前端展现）工具开发海量数据的分析是个大挑战，而新型数据可视化工具如Spotifre，Qlikview和Tableau可以直观高效地展示数据。可视化开发就是在可视开发工具提供的图形用户界面上，通过操作界面元素，由可视开发工具自动生成应用软件。还可轻松跨越多个资源和层次连接您的所有数据，经过时间考验，完全可扩展的，功能丰富全面的可视化组件库为开发人员提供了功能完整并且简单易用的组件集合，以用来构建极其丰富的用户界面。过去，数据可视化属于商业智能开发者类别，但是随着Hadoop的崛起，数据可视化已经成了一项独立的专业技能和岗位。四、信息架构开发大数据重新激发了主数据管理的热潮。充分开发利用企业数据并支持决策需要非常专业的技能。信息架构师必须了解如何定义和存档关键元素，确保以最有效的方式进行数据管理和利用。信息架构师的关键技能包括主数据管理、业务知识和数据建模等。五、数据仓库研究数据仓库是为企业所有级别的决策制定过程提供支持的所有类型数据的战略集合。它是单个数据存储，出于分析性报告和决策支持的目的而创建。为企业提供需要业务智能来指导业务流程改进和监视时间、成本、质量和控制。六、OLAP开发随着数据库技术的发展和应用，数据库存储的数据量从20世纪80年代的兆（M）字节及千兆（G）字节过渡到现在的兆兆（T）字节和千兆兆（P）字节，同时，用户的查询需求也越来越复杂，涉及的已不仅是查询或操纵一张关系表中的一条或几条记录，而且要对多张表中千万条记录的数据进行数据分析和信息综合。联机分析处理（OLAP）系统就负责解决此类海量数据处理的问题。OLAP在线联机分析开发者，负责将数据从关系型或非关系型数据源中抽取出来建立模型，然后创建数据访问的用户界面，提供高性能的预定义查询功能。

87 评论 1小时前发布

闻香识人

已采纳

成为合格的大数据人才，需要具备些什么技能?大数据人才需要具备的能力一般较高，尤其是综合技术能力。比如拿大数据工程师来说，其需要具备以下几方面的技能：信息挖掘能力每天都有数以万计的数据信息产生，这些数据中不乏有很多无用的信息，那到底什么样的信息可以被重新利用？这就考验了数据工程师对于数据灵敏的挖掘能力，挖掘出想要的有用的信息进行分析，这是对工程师最基本的考量。信息处理能力无论是在哪个行业，对事态的处理都是考验能力最好的办法，在大数据行业也不例外。在高级分析技术方面，工程师独具的自主思考能力是无可替代的。大数据在处理时所运用的工具和技术具备很大的优势，工程师根据企业不同的业务性质做出不同的判断，造成不同数据分析所达到的不同目的。计算机编码能力作为大数据工程师，许多数据都是从人们的点击、浏览中生成的文字、语音、图像或者更为复杂的其他数据信息，所以这就要求了大数据工程师需要分析各种毫无头绪的信息。不过大数据分析面向的基本都是商业分析，所以这就需要工程师具备基本的计算机处理能力。团队协作能力大数据开发工程师的工作必然会在一个团队中完成。团队成员间的完美对接、无障碍交流对顺利完成项目起着至关重要的作用。而部门间的相互配合、有效沟通，也对项目的进度起到了关键的作用。逻辑思维能力也是身为一名大数据开发工程师的内在能力。良好的逻辑思维可以让一名大数据开发工程师在工作中时刻保持着思路清晰，头脑清醒，效率高。学习路线建议阶段一、大数据基础——java语言基础方面Java语言和数据库等就无须赘述了，这是最基础的基本功。阶段二、 Linux&Hadoop生态体系Linux体系、Hadoop离线计算大纲、分布式数据库Hbase、数据仓库Hive、数据迁移工具Sqoop、Flume分布式日志框架。阶段三、分布式计算框架和Spark&Strom生态体系（1）分布式计算框架Python编程语言、Scala编程语言、Spark大数据处理、Spark—Streaming大数据处理、Spark—Mlib机器学习、Spark—GraphX 图计算。（2）storm技术架构体系Storm原理与基础、消息队列kafka、Redis工具、zookeeper详解。阶段四、大数据项目实战数据获取、数据处理、数据分析、数据展现、数据应用。阶段五、大数据分析 —AI（人工智能）Data Analyze工作环境准备&数据分析基础、数据可视化、Python机器学习。1、Python机器学习；2、图像识别&神经网络；3、自然语言处理&社交网络处理；4、实战项目；5、户外设备识别分析。

37 评论 1小时前发布

逼不得已

已采纳

请问什么是大数据架构工程师?1.找出过去事件的特征大数据工程师一个很重要的工作，就是通过分析数据来找出过去事件的特征。比如，腾讯的数据团队正在搭建一个数据仓库，把公司所有网络平台上数量庞大、不规整的数据信息进行梳理，总结出可供查询的特征，来支持公司各类业务对数据的需求，包括广告投放、游戏开发、社交网络等。找出过去事件的特征，最大的作用是可以帮助企业更好地认识消费者。通过分析用户以往的行为轨迹，就能够了解这个人，并预测他的行为。“你可以知道他是什么样的人、他的年纪、兴趣爱好，是不是互联网付费用户、喜欢玩什么类型的游戏，平常喜欢在网上做什么事情。”腾讯云计算有限公司北京研发中心总经理郑立峰说。下一步到了业务层面，就可以针对各类人群推荐相关服务，比如手游，或是基于不同特征和需求衍生出新的业务模式，比如微信的电影票业务。2.预测未来可能发生的事情通过引入关键因素，大数据工程师可以预测未来的消费趋势。在阿里妈妈的营销平台上，工程师正试图通过引入气象数据来帮助淘宝卖家做生意。“比如今年夏天不热，很可能某些产品就没有去年畅销，除了空调、电扇，背心、游泳衣等都可能会受其影响。那么我们就会建立气象数据和销售数据之间的关系，找到与之相关的品类，提前警示卖家周转库存。”薛贵荣说。在百度，沈志勇支持“百度预测”部分产品的模型研发，试图用大数据为更广泛的人群服务。已经上线的包括世界杯预测、高考预测、景点预测等。以百度景点预测为例，大数据工程师需要收集所有可能影响一段时间内景点人流量的关键因素进行预测，并为全国各个景点未来的拥挤度分级—在接下来的若干天时间里，它究竟是畅通、拥挤，还是一般拥挤?3.找出最优化的结果根据不同企业的业务性质，大数据工程师可以通过数据分析来达到不同的目的。以腾讯来说，郑立峰认为能反映大数据工程师工作的最简单直接的例子就是选项测试(AB Test)，即帮助产品经理在A、B两个备选方案中做出选择。在过去，决策者只能依据经验进行判断，但如今大数据工程师可以通过大范围地实时测试—比如，在社交网络产品的例子中，让一半用户看到A界面，另一半使用B界面，观察统计一段时间内的点击率和转化率，以此帮助市场部做出最终选择。

26 评论 1小时前发布

门徒

已采纳

大数据工程师高级含金量?大数据高级工程师含金量很高，工作能拿到不错的待遇。高级工程师系列是中国专业技术职称工程类中的高级职称（职称改革后称为专业技术职务任职资格）。高级工程师在工程界为技术专家或技术能手，在企业中发挥着无可替代的作用和很强的工作能力。

24 评论 1小时前发布

大数据工程师需要学历吗?

4个回答 默认排序 默认排序 按时间排序

相关问答

计算机类考试

向你推荐

热门问题

4个回答默认排序

默认排序

按时间排序