etl崗位職責15篇
在我們平凡的日常里,需要使用崗位職責的場合越來越多,崗位職責是指工作者具體工作的內容、所負的責任,及達到上級要求的標準,完成上級交付的任務。那么相關的崗位職責到底是怎么制定的呢?下面是小編幫大家整理的etl崗位職責,歡迎大家分享。
etl崗位職責1
職責描述:
1、負責數據分析、加工、清理、處理程序的開發
2、負責數據相關平臺的'搭建、開發、維護、優化
3、分布式平臺應用開發(hadoop/spark/hive/hbase)
4、開發數據統計系統,各類統計程序報表。
任職要求:
1、2年以上java或python開發工作經驗,java基礎扎實;
2、熟悉常見在線與離線大數據系統, 如hive, hbase, es, kafka等的工作原理與開發調優; 具有mapreduce開發經驗,有實際大數據項目經驗;
3、熟練掌握oracle、mysql等主流數據庫上的開發;
4、具有良好的溝通能力、組織能力及團隊協作精神,有較強的分析和解決問題的能力.
etl崗位職責2
職位描述:
1.基于公司數據建設需要,完成數據平臺構建、數據內容開發等工作。包括:數據平臺基礎設施建設、數據采集、etl、數倉及數據集市、數據應用產品等開發工作;
2.充分理解需求文檔,基于此進行自測,交付高質量的開發代碼和數據內容;
3.工作中對數據平臺基礎設施、數據內容建設等工作主動深度思考,提升效能并積極建言、促進組織和系統發展;
4.團隊日常管理,及其他根據部門需要安排事宜。
崗位要求:
1.信息技術類、數學、統計學、計量經濟學類專業,本科,工作年限5年以上;
2.熟悉數據倉庫模型設計和精通etl開發經驗,掌握3nf,kimball的維度建模設計方法,具備海量數據加工處理(etl)相關經驗;
3.掌握至少一種數據庫開發技術:oracle、teradata、db2、mysql等,精通并靈活運用sql實現海量數據etl加工處理;
4.熟悉linux系統常規shell處理命令,靈活運用shell做的'文本處理和系統操作;
5.有從事分布式數據存儲與計算平臺應用開發經驗;
6.熟練掌握一門或多門編程語言,并有大型項目建設經驗者優先,重點考察python、perl、java;
7.熟悉數據倉庫領域知識和技能者優先,包括但不局限于:數據開發測試工具與方法、數據質量等;
8.良好的語言溝通與表達能力和自我驅動動力。
注:此崗位需在杭州一個月
etl崗位職責3
崗位職責:
1、負責大數據、bi系統相關模塊的實施,項目管理工作,包括但不限于需求管理、項目規劃、過程實施、上線驗收、交付運營等;
2、依據業務場景、分析需求提供技術、業務解決方案并加以實現;
3、與技術部門對接,解決數據建模、報表和報告在系統開發遇到的.問題;
4、協助項目經理進行項目交付或協助商務開展售前支持或poc工作。
任職資格:
1、本科及以上學歷,計算機、統計學、應用數學等相關專業;
2、熟悉hadoop平臺,2年以上hive、sqoop開發經驗;
3、了解bi系統,有數據管理經驗,有維度建模相關經驗;
4、3年以上相關工作經驗,有銀行或金融數據分析經驗者優先;
5、熟悉db2、oracle等數據庫及sql數據查詢,熟悉hadoop者優先;
6、熟悉linux開發環境和shell腳本;
7、具備銀行項目設計、開發、優化等經驗者加分;
8、優秀的業務理解能力、邏輯性和溝通能力,能跨部門合作溝通。
etl數據開發工程師
崗位職責:
1、負責大數據、bi系統相關模塊的實施,項目管理工作,包括但不限于需求管理、項目規劃、過程實施、上線驗收、交付運營等;
2、依據業務場景、分析需求提供技術、業務解決方案并加以實現;
3、與技術部門對接,解決數據建模、報表和報告在系統開發遇到的問題;
4、協助項目經理進行項目交付或協助商務開展售前支持或poc工作。
任職資格:
1、本科及以上學歷,計算機、統計學、應用數學等相關專業;
2、熟悉hadoop平臺,2年以上hive、sqoop開發經驗;
3、了解bi系統,有數據管理經驗,有維度建模相關經驗;
4、3年以上相關工作經驗,有銀行或金融數據分析經驗者優先;
5、熟悉db2、oracle等數據庫及sql數據查詢,熟悉hadoop者優先;
6、熟悉linux開發環境和shell腳本;
7、具備銀行項目設計、開發、優化等經驗者加分;
8、優秀的業務理解能力、邏輯性和溝通能力,能跨部門合作溝通。
etl崗位職責4
職位描述:
職責:
1.按業務分析需求進行建模;
2.進行數據倉庫需求分析、方案設計、etl裝載過程設計;
3.從業務數據庫到數據倉庫的etl開發;
4.結合業務流程和需求進行數據分析;
任職資格:
1.本科以上學歷,計算機等信息技術相關專業;
2.有互聯網金融相關工作經驗,了解相關數據流和業務背景優先;
3.兩年及以上數據倉庫相關工作經驗,對數據倉庫系統架構具有良好的認識,熟悉數據倉庫相關技術,如etl、報表開發,具備數據分析技術并具有相關項目經驗;
4.具有hive、spark、mysql、oracle等至少一種大型數據庫的'應用開發經驗,熟悉數據標準管理、元數據管理、數據質量管理;
5.具備python統計和數據挖掘相關基本開發能力;
6.溝通能力好,善于規劃和總結,注重團隊合作及知識共享,能承擔一定的工作壓力;
etl崗位職責5
職責描述:
1、負責數據倉庫建模,業務數據集市建設開發
2、負責數據倉庫etl流程的優化及解決etl相關技術問題、etl流程監控,保障數據平臺架構穩定性
3、建立數據分析指標體系,不斷完善指標體系和分析模型;
4、通過專項分析,輸出專項分析報告
5、負責數據分析相關需求和數據測試的'工作
任職要求:
學歷要求:
全日制統考類本科及以上學歷,計算機、通信、電子、軟件工程、統計學、應用數學、數據分析等相關專業
專業技能:
1、熟悉數據倉庫各類模型建模理論,熟悉數據倉庫數據分層架構和多維數據模型設計;
2、豐富的數據分析經驗,熟練掌握sql、hql、sparksql,擅長運用其分析并完成復雜業務數據查詢
3、掌握至少一種數據庫開發技術:mysql/oracle/db2等,靈活運用sql實現海量數據etl加工處理;
4、熟悉hadoop生態(如:hdfs/mapreduce/hive/hbase等),并有相關實踐經驗;
5、熟練掌握一門或多門編程語言(如:python/shell/java/c++等),并有大型項目建設經驗者優先;
素質:
1、敏銳的數據觀察和分析能力,及時發現和分析其中隱含的變化和問題并給出建議;
2、良好的溝通能力和團隊精神,較強的學習能力,能承擔一定的工作壓力。
經驗:
至少2年以上數據倉庫(離線&實時)模型設計開發、etl設計開發的相關經驗,有通信運營商o域/b域大數據、智慧城市大數據的數據倉庫、etl設計研發經驗者優先'
etl崗位職責6
職位描述:
崗位職責:
1、負責項目實施過程中所對接的第三方系統的數據處理及質量分析,并完成項目實施過程中的etl工作;
2、熟練掌握etl設計過程,參與大數據平臺架構的設計、開發、流程優化及解決etl相關技術問題;
3、與用戶和項目組進行有效溝通,采集項目需求,并提出相應的.解決方案;
4、負責監控etl并解決出現的問題及性能調優,協助完成bi數據建模;
5、根據規范,完成項目相關設計開發文檔的整理與編寫;
任職要求:
1、統招全日制本科及以上學歷,具備大數據處理經驗尤佳;
2、熟悉etl工具,具有一定項目經驗,負責監控etl并解決出現的問題及性能調優;
3、熟悉hive和hadoop;
4、具備一定的編程能力,熟悉至少一種常用編程語言,java尤佳;
5、掌握關系數據庫常見用法,熟悉常見軟件的安裝,參與過項目的etl工具開發項目的完整分析、設計、開發流程者優先;
6、具備較強的自我學習能力、有較強分析問題的能力、人際溝通能力、團隊協作能力和工作責任感;
etl崗位職責7
職責描述:
1、 負責數據倉庫建模和etl技術工作,參與數據項目各類數據源etl的接口設計和文檔、流程規范;
2、負責項目中數據清洗、數據處理、數據校驗相關開發工作;
3. 配合使用主流數據挖掘工具、etl工具、bi展現的'設計和開發;
4、 能夠按照公司全面質量管理的要求,高質量地完成各類技術支持工作。
任職要求:
1.計算機相關專業本科以上學歷,3年以上工作經驗;
2.熟悉etl開發、數據倉庫設計流程,熟悉mysql、oracle, ms sql server等主流數據庫,表結構設計,存儲過程編寫;
3.有一定的sql調優知識和經驗,具有bi相關知識;
4.有hana、hive經驗優先;
5.具備財務基礎知識或者erp基礎知識者優先;
etl崗位職責8
職位描述:
工作職責:
1、根據公司數據分析需求進行基于hadoop平臺的項目開發;
2、根據需求進行數據倉庫模型設計,熟練使用kettle工具進行etl程序的開發;包括實時數據加工,計算,etl,管理,監控等;
3、負責針對源系統進行數據抽取、處理、分析等相關工作,及項目中涉及到的數據庫創建、維護及提供數據接口工作;
4、負責設計并優化基于hive的'數據倉庫的建設;
5、制定數據庫備份和恢復策略及工作流程與規范。
6、能出具消費品品牌制造行業應用的數據分析技術解決方案,并落地。
任職資格:
1.從事數據倉庫領域至少2年以上,熟悉數據倉庫模型設計與etl開發經驗,具備海量數據加工處理相關經驗;
2.熟悉數據倉庫領域知識和技能者優先,包括但不局限于:元數據管理、數據開發測試工具與方法、數據質量、主數據管理;
3.有從事分布式數據存儲與計算平臺應用開發經驗,熟悉hadoop生態相關技術并有相關實踐經驗著優先,重點考察hive、hdfs、hbase;
4.熟練掌握kettlesqoop、datax、airflow等;
5.有消費品品牌制造、零售行業經驗,尤其快消品行業和財務領域數據項目經驗者優先;
6.熟悉分布式計算presto/imapa優先;
7.有實時計算方面的經驗的優先。
etl崗位職責9
職位描述:
崗位職能:
1.基于公司數據建設需要,完成數據平臺構建、數據內容開發等工作。包括:數據平臺基礎設施建設、數據采集、etl、數倉及數據集市、數據應用產品等開發工作;
2.充分理解需求文檔,基于此進行自測,交付高質量的開發代碼和數據內容;
3.工作中對數據平臺基礎設施、數據內容建設等工作主動深度思考,提升效能并積極建言、促進組織和系統發展;
4.其他根據部門需要安排事宜;
崗位要求:
1.信息技術類、數學、統計學、計量經濟學類專業,研究生及以上學歷。優秀候選人學歷可以放寬至本科,工作年限5年以上;
2.熟悉數據倉庫模型設計和精通etl開發經驗,掌握3nf,kimball的維度建模設計方法,具備海量數據加工處理(etl)相關經驗;
3.掌握至少一種數據庫開發技術:oracle、teradata、db2、mysql等,精通并靈活運用sql實現海量數據etl加工處理;
4.熟悉linux系統常規shell處理命令,靈活運用shell做的文本處理和系統操作;
5.有從事分布式數據存儲與計算平臺應用開發經驗,熟悉hadoop生態相關技術并有相關實踐經驗著優先,重點考察hdfs、hive(hql)、hbase;
6.熟練掌握一門或多門編程語言,并有大型項目建設經驗者優先,重點考察python、perl、java;
7.熟悉數據倉庫領域知識和技能者優先,包括但不局限于:數據開發測試工具與方法、數據質量等;
8.良好的`語言溝通與表達能力和自我驅動動力。
etl崗位職責10
etl高級工程師職位要求
1、計算機、數學或統計等專業,本科以上學歷;
2、精通sql語言;熟悉數據倉庫設計、建模;
3、精通python,能夠編寫腳本處理、分析數據;
4、熟悉批量離線式分布式并行計算技術(如hadoop、mapreduce、hive、spark等)
5、熟悉sqlserver、mysql數據庫;了解redis等非關系型數據庫;
6、熟悉至少一種常用etl工具(如kettle、ssis、gobblin);了解常用報表工具(如reporting services以及各類開源報表);
7、了解常用數據挖掘方法(回歸、決策樹、聚類等)。
etl高級工程師崗位職責
1、負責國際網站后臺數據倉庫搭建、維護;
2、運用各類大數據工具設計etl流程,消費生產環境埋點、日志等數據;
3、日常數據監控以及數據預警,異常數據解讀挖掘,并與業務同事溝通解決方案;
4、分析用戶的特征和行為數據,挖掘不同類型用戶的'行為特性,為實際的業務運營提供數據支持;
5、從數據分析結果中尋找insight和商業價值,并以簡明扼要的形式傳導到其他部分,指導實際的業務運營;
6、處理國際網站的臨時數據需求,并對于常用重要需求轉化成數據產品。
etl崗位職責11
bi數據分析-數據開發(etl工程師)阿里健康阿里健康科技(中國)有限公司,阿里健康,阿里健康科技(北京)有限公司,阿里數據開發
1、構建全面的、準確的、能反映服務業務線特征的整體指標體系,并基于業務監控指標體系,及時發現與定位業務問題;
2、根據日常業務及產品團隊的需求,提供業務監控,業務評估的各項數據指標;
3、根據業務發展情況,從數據中發現業務及產品的問題點及機會點,給業務及產品提供相應的方向;
4、沉淀分析思路與框架,提煉數據產品需求,與相關團隊(如技術開發團隊)協作并推動數據產品的落地;
5、與業務協作(行業團隊)組織數據的理念、技能、工具的`培訓。
崗位描述:
1.負責各條業務線數據倉庫搭建,場景梳理,數據維護;
2.負責公司內部跨部門項目數據場景梳理,資源調配工作;
3.負責從已有的數據中挖掘對業務目標起到推動作用的分析結論。
崗位要求:
1、統計、數學、信息技術、生物統計本科以上學歷,有電商bi工作經驗優先;
2、良好的數據敏感度,能從海量數據提煉核心結果,有數據分析、挖掘、清洗和建模的經驗;
3、有從事分布式數據存儲與計算平臺應用開發經驗,熟悉hadoop生態相關技術并有相關開發經驗,熟練運用sql,能高效的與數據技術團隊進行溝通者尤佳;
4、較為豐富的數據倉庫及數據平臺的架構經驗,精通數據倉庫建模及etl設計開發。
etl崗位職責12
職責描述:
崗位職責:
1、根據概要設計,進行詳細設計的.文檔編寫;
2、負責etl過程的設計/開發實施、單元測試;
3、負責項目中etl相關需求調研、源數據調研、整體設計;
4、負責項目中環境安裝及配置。
5、維護和升級現有etl任務和存儲過程,快速定位并修復現有系統缺陷
職位要求:
1、大專及以上學歷,計算機相關專業,3年以上etl工作經驗。
2、熟悉etl開發流程,有hadoop和etl工作經驗;有從傳統數據庫抽取數據到hive數據倉庫經驗,了解sqoop應用原理者優先。
3、熟悉主流數據庫sql server、oracle、db2、mysql等;熟悉開源的etl工具。
4、有海量數據處理工作經驗,數據分析和挖掘經驗者優先;
5、做過數據倉庫、ods項目,對數據治理、數據標準及元數據有很好理念及實施經驗的優先;
6、熟練使用腳本語言:如perl、python、shell等任意一種以上;
7、熟悉linux系統指令和性能優化;
8、善于學習新技術,對新技術有較強的接受能力;工作認真細致,愿意于人交流溝通。
9、有大型數據倉庫系統研發、設計經驗者優先;
10、熟悉java語言或hadoop技術者優先;
崗位要求:
學歷要求:大專
語言要求:不限
年齡要求:不限
工作年限:3-4年經驗
etl崗位職責13
職位描述:
崗位職責:
1、數倉開發、etl開發;
2、銀行業數據模型的設計輔助、mapping和落地等;
3、shell腳本開發維護;
4、銀行業務系統的'數據調研和分析;
任職要求:
1、本科及以上學歷,計算機或相關專業;
2、2年以上oracle、db2等數據庫開發經驗,熟悉數據庫體系結構;
3、精通pl/sql編程,精通存儲過程開發;
4、熟悉linux操作系統;
5、熟悉etl調度工具和前端工具;
6、軟件基礎理論知識扎實,具備良好的數據結構、算法功底,有一定獨立分析、技術研究能力;
7、良好的溝通能力、團隊合作精神、樂于;
8、具備較強的自學能力,有一點抗壓能力,能夠接受出差性質的工作。
如有以下技術背景優先考慮:
1、有銀行業系統開發經驗;
2、參與過數倉項目開發、實施;
3、有數據治理項目經驗的。
etl崗位職責14
職位描述:
工作職責:
1、負責數據平臺的'etl設計開發、工作流調度設計、存儲過程開發、自定義函數開發。
2、負責各業務系統數據源業務調研、數據調研、準確性完整性驗證。
3、負責項目中與第三方系統基于數據庫的數據對接、數據預處理、數據清洗、數據處理、數據導入、數據校驗相關開發工作。
4、負責數據平臺的etl相關軟件和工具的研發和改進。
5、負責數據平臺日常管理、跑批、維護、監控、處理臨時數據需求。
任職資格:
1、本科計算機相關專業,5年工作經驗
2、具備3年或以上etl數據處理相關開發經驗
3、擁有3年以上sql開發
4、掌握hadoop?hive-hql?基礎技能
etl崗位職責15
崗位職責
1.負責數據倉庫模型設計和優化,基于hadoop/hive/odps(maxcouputer)、adb等進行數據倉庫etl開發和維護工作;
2.負責日常作業的部署和調度研發及維護工作;
3.負責制定數據標準制定,數據質量標準,從而有效的進行數據治理工作。
4.負責各類業務數據的etl任務及數據倉庫部署和管理,持續改進優化etl、分析處理、數據呈現等流程,協調海量數據壓力問題;
任職資格
1.三年以上數據倉庫/etl/數據處理相關開發經驗;
2.具備mysql、oracle或hive等主流平臺的數據開發及調優經驗,熟悉python或java優先;
3.具備良好的學習能力,善于溝通,具備較強的'業務推動能力和執行力;
4.熟悉數據倉庫體系架構、建模理論和模型設計思路,能用于項目實踐;
5.有良好的快速學習能力和團隊協作能力;
6.有java或python項目研發經驗者先考慮;
7.有產品意識,善于溝通,積極主動,能夠以目標為導向理解工作中相關任務的處理優先級關系。
【etl崗位職責】相關文章:
etl崗位職責03-06
etl工程師崗位職責(通用20篇)01-31
商場數據倉庫ETL系統架構設計05-09
值班崗位職責-崗位職責07-25
倉管員的崗位職責-崗位職責01-15
it部經理崗位職責-崗位職責07-25
物業班長崗位職責-崗位職責11-03
庫管崗位職責-崗位職責01-10
渠道銷售崗位職責-崗位職責01-10