- 相關推薦
大數據開發工程師崗位職責
在現實社會中,接觸到崗位職責的地方越來越多,崗位職責是指工作者具體工作的內容、所負的責任,及達到上級要求的標準,完成上級交付的任務。相信很多朋友都對制定崗位職責感到非�?鄲腊�,以下是小編精心整理的大數據開發工程師崗位職責,歡迎閱讀與收藏。
1、參與大數據平臺相關的數據整合清洗、數據應用的設計和開發
2.協助用戶完成用戶測試,解決測試發現的問題。
任職要求:
1、本科及以上學歷,計算機或相關專業,2年以上DW/BI項目實施和開發經驗
2、熟悉大數據開源產品的架構和技術細節,具有Hadoop、Mapreduce、HBase、Hive、Spark、Kafka、Redis等大數據平臺開發經驗
3、有金融、互聯網金融、電商、廣告等行業數據倉庫,數據挖掘經驗
4、精通SQL,熟練使用至少一種數據庫,如Oracle、MySQL、PostgreSQL等
1、3年以上工作經驗;至少有一個數據倉庫/數據集市/ODS項目開發經驗;
2、精通oracle數據庫的開發(view/TRIGER/function/procedure/package)及SQL調優,熟悉oracle數據庫的基礎原理;
3、精通ETL工具datastage開發;
4、熟悉linux/Unix系統,有shell/Perl腳本開發能力;
5、具備良好的分析能力和溝通協調能力,能夠承受較高的壓力,工作認真負責,積極主動,有較高的效率;
6、熟悉一種主流商用調度工具TWS/control-M/AUTOSYS優先;
7、熟悉Python開發優先;
崗位職責:
1、參與大數據平臺的搭建、開發和維護工作;
2、負責大數據采集、清洗、整合等工作;
3、負責大數據平臺文本挖掘分析等工作;
4、負責BI以及報表開發;
5、參與新技術選型和調研,解決不斷增長的海量數據帶來的存儲和計算挑戰。
任職資格:
1、本科以上學歷,計算機、信息管理等相關專業;
2、深厚的Java功底,3年及以上的并發編程經驗,參與過分布式高性能服務的設計開發過程,有大規模分布式系統的實踐經驗;
3、熟悉hadoop/kafka/flume/storm/spark/zookeeper等相關技術;
4、熟悉常見數據庫如oracle/mysql,有Nosql數據庫如mongoDb等經驗者優先;
5、熟悉redis或memcache者優先;
6、對于分布式系統有一定了解,有海量數據處理經驗;
7、具備較強學習能力,良好的溝通能力和團隊合作意識
1、負責基于Hadoop/Spark/Hive/Storm/kafka等分布式計算平臺實現離線分析、實時分析的計算框架;
2、負責平臺數據倉庫的選型、設計、開發、維護工作;
3、負責上述計算平臺系統的可用性、容量、性能、監控、發布、安全等運維管理工作,確保系統持續穩定、高效運行;
4、協調大數據團隊高效的進行數據處理、分析、統計、挖掘工作;
崗位要求:
1、熟悉服務器/存儲/網絡/OS等基礎架構基本元素,熟悉linux操作系統,具備較強的調優排障能力;
2、熟悉Hadoop、Spark等大數據框架,有大型分布式計算開發、部署等相關經驗;
3、熟悉shell/python或其他腳本語言中的任意一門,有扎實的Java開發基礎,了解jvm的運行機制以及相應調優;
4、能夠獨立完成項目的系統分析、設計,并主導完成詳細設計和編碼的任務。
5、注重性能,良好的代碼管理及重構意識。具備獨立溝通需求,設計,架構,開發的能力;
6、熟悉主流的數據存儲產品,有開發經驗者優先。如:HBase,Hive,Redis,MongoDB,MySQL等;
7、有團隊管理經驗者優先。
资深写手 • 1对1服务
品质保证、原创高效、量身定制满足您的需求
【大數據開發工程師崗位職責】相關文章:
數據庫開發工程師崗位職責03-10
數據庫開發工程師的崗位職責03-10
數據開發崗位職責02-01
數據庫開發工程師的崗位職責20篇04-15
數據庫開發工程師崗位職責10篇05-15
數據庫開發工程師崗位職責(10篇)05-15
數據庫開發工程師的崗位職責(15篇)03-19
數據庫開發工程師崗位職責15篇03-10
數據庫開發工程師的崗位職責15篇03-10