大數(shù)據(jù)開發(fā)工程師崗位職責(zé)

大數(shù)據(jù)開發(fā)工程師崗位職責(zé)

　　在現(xiàn)實(shí)社會中，接觸到崗位職責(zé)的地方越來越多，崗位職責(zé)是指工作者具體工作的內(nèi)容、所負(fù)的責(zé)任，及達(dá)到上級要求的標(biāo)準(zhǔn)，完成上級交付的任務(wù)。相信很多朋友都對制定崗位職責(zé)感到非�？鄲腊�，以下是小編精心整理的大數(shù)據(jù)開發(fā)工程師崗位職責(zé)，歡迎閱讀與收藏。

　　1、參與大數(shù)據(jù)平臺相關(guān)的數(shù)據(jù)整合清洗、數(shù)據(jù)應(yīng)用的設(shè)計(jì)和開發(fā)

　　2.協(xié)助用戶完成用戶測試，解決測試發(fā)現(xiàn)的問題。

　　任職要求：

　　1、本科及以上學(xué)歷，計(jì)算機(jī)或相關(guān)專業(yè)，2年以上DW/BI項(xiàng)目實(shí)施和開發(fā)經(jīng)驗(yàn)

　　2、熟悉大數(shù)據(jù)開源產(chǎn)品的架構(gòu)和技術(shù)細(xì)節(jié)，具有Hadoop、Mapreduce、HBase、Hive、Spark、Kafka、Redis等大數(shù)據(jù)平臺開發(fā)經(jīng)驗(yàn)

　　3、有金融、互聯(lián)網(wǎng)金融、電商、廣告等行業(yè)數(shù)據(jù)倉庫，數(shù)據(jù)挖掘經(jīng)驗(yàn)

　　4、精通SQL，熟練使用至少一種數(shù)據(jù)庫，如Oracle、MySQL、PostgreSQL等

　　1、3年以上工作經(jīng)驗(yàn)；至少有一個(gè)數(shù)據(jù)倉庫/數(shù)據(jù)集市/ODS項(xiàng)目開發(fā)經(jīng)驗(yàn)；

　　2、精通oracle數(shù)據(jù)庫的開發(fā)（view/TRIGER/function/procedure/package）及SQL調(diào)優(yōu)，熟悉oracle數(shù)據(jù)庫的基礎(chǔ)原理；

　　3、精通ETL工具datastage開發(fā)；

　　4、熟悉linux/Unix系統(tǒng)，有shell/Perl腳本開發(fā)能力；

　　5、具備良好的分析能力和溝通協(xié)調(diào)能力，能夠承受較高的壓力，工作認(rèn)真負(fù)責(zé)，積極主動，有較高的效率；

　　6、熟悉一種主流商用調(diào)度工具TWS/control-M/AUTOSYS優(yōu)先；

　　7、熟悉Python開發(fā)優(yōu)先；

　　崗位職責(zé):

　　1、參與大數(shù)據(jù)平臺的搭建、開發(fā)和維護(hù)工作；

　　2、負(fù)責(zé)大數(shù)據(jù)采集、清洗、整合等工作；

　　3、負(fù)責(zé)大數(shù)據(jù)平臺文本挖掘分析等工作；

　　4、負(fù)責(zé)BI以及報(bào)表開發(fā)；

　　5、參與新技術(shù)選型和調(diào)研，解決不斷增長的海量數(shù)據(jù)帶來的存儲和計(jì)算挑戰(zhàn)。

　　任職資格:

　　1、本科以上學(xué)歷，計(jì)算機(jī)、信息管理等相關(guān)專業(yè)；

　　2、深厚的Java功底，3年及以上的并發(fā)編程經(jīng)驗(yàn)，參與過分布式高性能服務(wù)的設(shè)計(jì)開發(fā)過程，有大規(guī)模分布式系統(tǒng)的實(shí)踐經(jīng)驗(yàn)；

　　3、熟悉hadoop/kafka/flume/storm/spark/zookeeper等相關(guān)技術(shù)；

　　4、熟悉常見數(shù)據(jù)庫如oracle/mysql，有Nosql數(shù)據(jù)庫如mongoDb等經(jīng)驗(yàn)者優(yōu)先；

　　5、熟悉redis或memcache者優(yōu)先；

　　6、對于分布式系統(tǒng)有一定了解，有海量數(shù)據(jù)處理經(jīng)驗(yàn)；

　　7、具備較強(qiáng)學(xué)習(xí)能力，良好的溝通能力和團(tuán)隊(duì)合作意識

　　1、負(fù)責(zé)基于Hadoop/Spark/Hive/Storm/kafka等分布式計(jì)算平臺實(shí)現(xiàn)離線分析、實(shí)時(shí)分析的計(jì)算框架；

　　2、負(fù)責(zé)平臺數(shù)據(jù)倉庫的選型、設(shè)計(jì)、開發(fā)、維護(hù)工作；

　　3、負(fù)責(zé)上述計(jì)算平臺系統(tǒng)的可用性、容量、性能、監(jiān)控、發(fā)布、安全等運(yùn)維管理工作，確保系統(tǒng)持續(xù)穩(wěn)定、高效運(yùn)行；

　　4、協(xié)調(diào)大數(shù)據(jù)團(tuán)隊(duì)高效的進(jìn)行數(shù)據(jù)處理、分析、統(tǒng)計(jì)、挖掘工作；

　　崗位要求：

　　1、熟悉服務(wù)器/存儲/網(wǎng)絡(luò)/OS等基礎(chǔ)架構(gòu)基本元素，熟悉linux操作系統(tǒng)，具備較強(qiáng)的調(diào)優(yōu)排障能力；

　　2、熟悉Hadoop、Spark等大數(shù)據(jù)框架，有大型分布式計(jì)算開發(fā)、部署等相關(guān)經(jīng)驗(yàn)；

　　3、熟悉shell/python或其他腳本語言中的任意一門，有扎實(shí)的Java開發(fā)基礎(chǔ)，了解jvm的運(yùn)行機(jī)制以及相應(yīng)調(diào)優(yōu)；

　　4、能夠獨(dú)立完成項(xiàng)目的系統(tǒng)分析、設(shè)計(jì)，并主導(dǎo)完成詳細(xì)設(shè)計(jì)和編碼的任務(wù)。

　　5、注重性能，良好的代碼管理及重構(gòu)意識。具備獨(dú)立溝通需求，設(shè)計(jì)，架構(gòu)，開發(fā)的能力；

　　6、熟悉主流的數(shù)據(jù)存儲產(chǎn)品，有開發(fā)經(jīng)驗(yàn)者優(yōu)先。如：HBase，Hive，Redis，MongoDB，MySQL等；

　　7、有團(tuán)隊(duì)管理經(jīng)驗(yàn)者優(yōu)先。

【大數(shù)據(jù)開發(fā)工程師崗位職責(zé)】相關(guān)文章：

數(shù)據(jù)庫開發(fā)工程師崗位職責(zé)03-10

數(shù)據(jù)庫開發(fā)工程師的崗位職責(zé)03-10

數(shù)據(jù)開發(fā)崗位職責(zé)02-01

數(shù)據(jù)庫開發(fā)工程師的崗位職責(zé)20篇04-15

數(shù)據(jù)庫開發(fā)工程師崗位職責(zé)10篇05-15

數(shù)據(jù)庫開發(fā)工程師崗位職責(zé)(10篇)05-15

數(shù)據(jù)庫開發(fā)工程師的崗位職責(zé)(15篇)03-19

數(shù)據(jù)庫開發(fā)工程師崗位職責(zé)15篇03-10

數(shù)據(jù)庫開發(fā)工程師的崗位職責(zé)15篇03-10