作者：紅掌網絡 訪問量：437 發布時(shí)間：2020-05-25 07:22
想要成爲一名合格的(de)大(dà)數據研發工程師（Bigdataresearchanddevelopmentengineers），首先就要了(le)解大(dà)數據軟件開發這(zhè)個(gè)職業，大(dà)數據非傳統型的(de)互聯網數據信息，大(dà)數據也(yě)包含了(le)很多(duō)新的(de)特征。互聯網時(shí)代的(de)發展，每天都産生各種各樣的(de)數據信息，數據來(lái)源很廣，每天都有從各方面來(lái)臨的(de)數據信息，大(dà)數據格式多(duō)種多(duō)樣，非結構化(huà)數據（Unstructureddata）、結構化(huà)數據（structureddata）、excel文件等等，而且大(dà)數據數量很大(dà)，至少要是TB級别的(de)，甚至會達到PB級别的(de)。既然數據總量如此之多(duō)，又各種類型的(de)都有，增長(cháng)數據也(yě)很快(kuài)，那數據該如何彙總并且轉化(huà)運用(yòng)成自己所需要的(de)數據信息呢(ne)?這(zhè)就誕生了(le)大(dà)數據研發工程師，大(dà)數據研發工程師在充分(fēn)了(le)解行情的(de)基礎之上，發揮其自身所具備的(de)專業技能。
先扯一下(xià)大(dà)數據的(de)4V特征：
1：數據量大(dà)，TB->PB
2：數據類型繁多(duō)，結構化(huà)、非結構化(huà)文本、日志、視頻(pín)、圖片、地理(lǐ)位置等；
（datatypeisvarious,structuredandunstructuredtext,logs,video,images,thegeographicalposition,etc.;）
3：商業價值高(gāo)，但是這(zhè)種價值需要在海量數據之上，通(tōng)過數據分(fēn)析與機器學習(xí)更快(kuài)速的(de)挖掘出來(lái)；
（highcommercialvalue,butthisvaluetakeonhugeamountsofdata,throughdataanalysisandmachinelearningmorerapidexcavation;）
4：處理(lǐ)時(shí)效性高(gāo)，海量數據的(de)處理(lǐ)需求不再局限在離線計算(suàn)當中。
（processingtimelinessishigh,therequirementofthehugeamountsofdataprocessingisnolongerlimitedinoff-linecalculation.）
大(dà)數據軟件開發工程師需要學什(shén)麽呢(ne)？
我們從全國幾個(gè)大(dà)城(chéng)市招聘信息來(lái)了(le)解，大(dà)數據軟件開發工程師到底需要學什(shén)麽及相應的(de)月(yuè)薪。
大(dà)數據開發工程師杭州（20000-40000元/月(yuè))
1、熟悉java或scala開發語言，了(le)解python或go等語言，有3年以上開發經驗2、了(le)解hadoop生态，Hadoop，hive，HBase，Spark等，了(le)解實時(shí)計算(suàn)技術，包括storm,kafka，flume，druid等3、熟悉linux各項基本操作4、熟悉數據結構，對(duì)常用(yòng)算(suàn)法有所了(le)解，有良好的(de)數據思維5、有大(dà)規模數據分(fēn)析、推薦、廣告相關研發經驗的(de)優先6、有BI數據平台、數據倉庫、日志采集，多(duō)維實時(shí)分(fēn)析平台設計、開發、架構經驗優先。
崗位職責(responsibility)：
1、負責大(dà)數據平台基礎組件功能設計、研發及維護工作；2、負責大(dà)數據采集、清洗、整合等工作；3、負責大(dà)數據平台文本挖掘分(fēn)析等工作；4、負責相關功能設計文檔撰寫；5、負責BI及報表開發。任職要求：1、深厚的(de)Java功底，多(duō)年的(de)并發編程經驗；2、參與過分(fēn)布式高(gāo)性能服務的(de)設計開發過程，有大(dà)規模分(fēn)布式系統的(de)實踐經驗；3、熟悉HDFS/HBase/Hive/MapReduce/Storm/Spark等相關技術,有 MapReduce 程序的(de)實戰開發經驗；4、熟悉Hadoop運行監控及調優技術；5、熟悉常見存儲技術（Sqlserver ,Oracle, Mysql, NosqlDB、Redis、ElasticSearch），WebService/WebAPI（SOAP/json）；6、熟悉Scala語言優先；7、計算(suàn)機、軟件工程及相關專業本科或以上學曆，3年以上相關項目開發經驗；
大(dà)數據開發工程師安徽合肥(5000-10000元/月(yuè))
崗位職責(responsibility)：
1、大(dà)數據平台的(de)産品及解決方案設計、開發，實現大(dà)數據存儲、查詢、分(fēn)析、挖掘的(de)目标；
3、對(duì)大(dà)數據（雲計算(suàn)）的(de)主流技術、産品跟蹤研究，設計适合公司業務的(de)、有競争力的(de)方案和(hé)産品；
3、具體工作包括技術預研、方案設計、構件選型、開發、集成、優化(huà)等；
4、能根據公司産品和(hé)業務特征不斷提出改進建議(yì)，持續創新、開發新産品及方案。
任職資格(responsibility)：
1.計算(suàn)機或者相關專業本科以上學曆，1年實際工作經驗
2.精通(tōng)java。熟悉shell/perl/python任意一門腳本語言，有紮實的(de)編程功底。
3.熟悉Hadoop+spark+hbase生态和(hé)常見的(de)開源分(fēn)布式計算(suàn)/存儲相關技術
4.精通(tōng)SQL，有較好的(de)SQL性能調優經驗，理(lǐ)解Hive/Mysql基本原理(lǐ)和(hé)調優策略；有開源貢獻者優先
5.有文檔編制基礎，能夠流暢編寫技術方案及實施方案
大(dà)數據開發工程師北(běi)京(15001-20000元/月(yuè))
崗位職責:
1、負責公司級的(de)通(tōng)用(yòng)數據平台和(hé)分(fēn)析型産品，服務于全公司各個(gè)用(yòng)戶産品線；
2、面向PB級超大(dà)規模數據問題，每天處理(lǐ)千億增量的(de)用(yòng)戶行爲數據；
3、爲大(dà)數據的(de)全生命周期提供服務，覆蓋數據産生，傳輸，計算(suàn)，建模，統計分(fēn)析，實驗評估，可(kě)視化(huà)的(de)全流程；
4、構建設計良好的(de)數據流、數據倉庫、調度系統、kv存儲，查詢引擎，數據服務、分(fēn)析系統、流程規範，數據工具/産品，降低數據的(de)使用(yòng)門檻，保證系統穩定高(gāo)效運行，以實現數據的(de)最大(dà)價值。
任職資格:
1、熟悉linux編程環境，有較強的(de)開發能力（java/scala/c++/python等);
2、強悍的(de)編碼能力，對(duì)新技術有強烈的(de)學習(xí)熱(rè)情；
3、加分(fēn)，熟悉一項或多(duō)項大(dà)數據處理(lǐ)/分(fēn)析相關的(de)工具/框架，e、g、azkaban,hadoop,Hive,Spark,kylin,druid,flume,kafka,hbase,mesos,kubernets,redisetc。
4.對(duì)數據建模有一定了(le)解。
