數據工程師崗位職責(精選22篇)
在當今社會生活中,崗位職責對人們來說越來越重要,崗位職責主要強調的是在工作范圍內所應盡的責任。那么制定崗位職責真的很難嗎?下面是小編精心整理的數據工程師崗位職責,僅供參考,大家一起來看看吧。
數據工程師崗位職責 1
職責:
1、負責銀行各類應用系統的運維標準制定和運維管理等工作;
2、負責銀行各類應用系統的運行情況及相關技術的整理、分析和總結等工作;
3、負責銀行各類應用系統的應用監控、應用運維體系工具的`建設和維護工作;
4、負責銀行各類應用系統的自動化腳本編寫和測試工作。
招聘要求:
1、全日制一本以及以上學歷,理工類專業;
2、具備2年及以上應用系統運維或應用系統開發經驗,有銀行應用系統運維或開發經驗者優先;
3、具備較強的文檔編寫、英語文檔閱讀能力;
4、具備良好的溝通表達能力和團隊合作精神,具有較強的工作責任心和主動性;
5、至少具備以下二項技能:
(1)熟悉銀行應用系統體系架構、應用運維標準化流程;
(2)熟悉AIX、LInux操作系統相關運維工作,具備熟練的SHELL腳本編程能力;
(3)熟悉應用軟件持續集成和持續發布交付項目的整體流程,熟悉Jenkins、Nexus等相關Devops工具;
(4)熟練使用容器平臺相關技術,有容器平臺管理工作、應用容器打包的相關經驗;
(5)熟練使用Golang或者Python編程。
數據工程師崗位職責 2
職責:
1、市場運營綜合分析,能夠獨立分析市場業務中的問題和預測業務發展趨勢,輸出相關分析報告;
2、數據挖掘建模,能夠根據業務管理需求進行建模輸出;
3、負責數據資產標簽運營管理,建設底層數據系統,推動數據運營體系建設;
4、管理后臺數據庫的'日常運維及故障處理,性能優化等相關工作。
應聘條件:
1、了解Oracle相關技術;對數據建模方法、數據分析理論有比較深入的理解;了解python數據分析方法,
2、責任心強,有抗壓能力、較好的人際溝通能力和良好的團隊合作精神。有互聯網行業、通信運營、IT咨詢、商業企業的數據分析運營崗位經驗,底層數據系統建設經歷者優先;
數據工程師崗位職責 3
職責:
1、負責數據挖掘領域的分析研究,包括數據挖掘算法的分析研究,特定工程的數據挖掘模型的需求分析、建模、實驗模擬;
2、負責數據挖掘系統的開發,包括需求分析、系統設計、系統測試和優化。
3、負責大數據集成、分析和洞察技術研究,業務建模。包括業務模型、數據模型的`生成和應用,關鍵算法的研究和開發。
任職要求:
1、具有深厚的統計學、數學和數據挖掘知識基礎;
2、有較強的數據分析能力,邏輯思考、問題定位解決能力;
3、具有良好的溝通能力和團隊協作精神。
4、較強的數據處理和分析能力。
數據工程師崗位職責 4
職責:
1、負責大數據平臺數據倉庫建設、數據分析挖掘工作;
2、負責大數據的處理、整合及數據建模,協同業務開發人員,將模型算法成果應用到實際業務系統中,并通過可視化工具進行分析成果展示;
3、基于用戶數據,研究用戶行為,構建用戶畫像。
任職要求:
1、應用數學、計算機、信息處理等相關專業本科及以上學歷;
2、3年以上大數據開發經驗;
3、熟悉hadoop的大數據生態,精通SQL語法【有較好的.SQL性能調優能力,掌握基于Hive或者Spark sql的HQL腳本編寫;
4、具有從數據查詢,聚合,分析到可視化的整套實踐經驗;
5、熟練使用java或者python、基礎扎實、能編寫Hive環境下或者Spark sql環境下的UDF;
6、具備良好的表達和溝通能力、學習能力,具備極強的團隊合作精神,能夠承受一定的工作壓力。
數據工程師崗位職責 5
職責:
1、負責數據中心服務器架構的規劃、建設、驗收與運維,編制虛擬化和私有云建設方案、設備采購清單和具體實施計劃;
2、負責參與相關業務系統的規劃部署,分配與業務系統需求匹配的.計算、存儲、網絡資源,并提供相關技術支持;
3、負責制定服務器日常技術維護流程與制度,并推動執行,包括事務處理,系統升級、備份和恢復,日志報告等;
4、負責建立自動化、平臺化管理運維平臺,分析服務器架構日常運行情況,提供服務器性能分析報告和架構優化方案;
5、負責對服務器環境進行故障響應和問題跟蹤,解決系統故障、性能瓶頸等相關問題;了解分布式服務框架、服務網關、消息中間件、數據中間件、公用組件服務等,參與中間件系統的安裝、擴容、升級、遷移、拆分、合并等重要項目實施。
任職要求:
1、計算機相關專業統招本科及以上學歷,3年以上服務器、存儲及災備系統建設管理經驗、通過VMWAREVCP認證;
2、熟悉服務器、存儲、備份、SAN網絡管理;有存儲運維經驗者優先;
3、掌握linux運維管理;熟悉AIX、solaris者優先;
4、具有私有云建設、管理維護經驗,有應用級別災備系統項目運維經驗優先。
數據工程師崗位職責 6
職責:
1.負責機票酒店大數據項目的評估、設計及關鍵模塊研發;
2.參與公司大數據平臺及聯機分析系統的建設;
3.機器學習算法討論、評估及算法的最終編碼實現;
4.數據平臺開發規范制定,數據建模及核心框架研發;
任職要求:
1.本科及以上學歷,計算機或數學相關專業,三年以上相關工作經驗;
2.掌握Java、Python、Scala等中的.一到兩種語言;
3.熟悉Mongodb、Hive、Hbase、Redis等NoSQL數據庫開發和調優;
4.熟悉數據相關開源框架和工具,如ZooKeeper、Spark、Flink、Impala、Kylin等;
5.對數據結構和機器學習算法有一定的了解;
6.具有海量數據處理、數據挖掘、數據分析相關項目的工作經驗者優先;
7.有機票酒店等旅游行業數據開發經驗者優先。
數據工程師崗位職責 7
職責:
1.根據業務需求,設計數據庫結構,改進數據庫架構,實施數據庫分布式、集群、負載均衡方案;
2.負責數據庫服務可用性監控、容量規劃、架構設計和擴容實施;
3.定期檢查并優化數據庫平臺性能;
4.分析數據庫系統性能瓶頸,提出優化建議和方案。
任職資格:
1.精通SQL Server、MySQL等數據庫;
2.精通SQL腳本的.編寫,有豐富的數據庫管理、運維調優經驗;
3.熟練使用數據庫管理、分析、設計工具;
4.具備優秀的數據庫架構設計能力,熟悉數據庫性能優化;
5.快速處理系統突發事件的能力,較強的學習和創新能力。
數據工程師崗位職責 8
職責:
1、負責大數據平臺的技術和產品的設計、開發、優化和維護;
2、負責大數據平臺設計文檔編寫,線上產品的維護;
3、負責系統性能優化,解決各類潛在系統技術風險,保證系統的安全、穩定、快速運行;
4、負責整個產品平臺的搭建、多維數據庫建設及管控流程設計;
5、參與指標設計,數據建模,負責將數據模型在系統中實現;
6、負責數據抽取、數據交換、實時計算等框架研究及相關產品的研發;
7、負責追蹤整體產品過程及質量把控。
任職要求:
1、專業技能:精通Hadoop生態圈中的一項或幾項技術,深入了解Hadoop及相關組件的.部署及調優;設計或開發過大容量,高性能,高可用,易擴展的分布式系統;熟悉實時計算/流式計算系統,至少熟悉一項Nosql技術;具有扎實java功底及開發能力;對hadoop,hive,hbase,spark等相關源碼有一定了解;
2、學歷背景:計算機相關專業本科及以上學歷;
3、工作經驗:3年以上JAVA開發經驗及1年以上大數據研發經驗
4、能力素質:具有出色的抽象設計能力,思路清晰,善于思考,良好的團隊合作能力、溝通能力、較好的自學能力,具有敬崗愛業的精神。
5、有團隊管理經驗者優先。
數據工程師崗位職責 9
1、負責數據庫及操作系統的`日常維護,數據庫性能監控及優化,故障診斷和排除;
2、制定并實施數據備份、恢復、復制計劃,以及數據庫的安全管理、用戶管理;
3、負責數據庫項目的安裝、部署、維護等工作;
4、完成領導安排的其他工作。
數據工程師崗位職責 10
職責:
1.負責公司大數據業務集群的運維工作確保高可用;
2.負責基礎運維、故障定位、容量規劃、擴容及性能優化;
3.設計實現大規模分布式集群的運維、報警監控和管理平臺;
4.參與業務架構設計,在設計階段給出可運維性改進建議;
5.深入研究大數據業務相關運維技術,持續優化集群服務架構,探索新的大數據運維技術及發展方向。
任職資格:
1.大專以上學歷,2年及以上大數據運維工作經驗,熟悉hadoop/hbase/hive/Yarn/Spark等分布式相關技術,熟悉源碼尤佳,至少掌握python/shell中的一種語言,接受優秀應屆畢業生;
2.了解大數據平臺應用架構,具備常見問題的基本分析和解決能力;
3.熟悉Linux操作系統的配置、管理及優化,能夠獨立排查及解決操作系統層面的.問題;
4.熟悉nginx/emq/tomca、mysql/mongodb/redis等web應用/中間件及主流開源數據庫的使用和配置。
數據工程師崗位職責 11
1.參與產品和項目研發工作,基于spark完成產品大數據架構和功能開發;
2.搭建和調優大數據基礎平臺,包括hadoop/hbase/hive/sqoop/kafka/flume/spark/storm等大數據組件的環境搭建;
3.維護線上系統的穩定性、可靠性,通過分析現象快速定位問題,進而提出優化方案,改進要求;
數據工程師崗位職責 12
職責:
1、負責項目實施服務器所需操作系統、工具、數據庫等軟件安裝并確保其安全運行;
2、負責項目的數據盤查,數據建模,數據清洗、數據整理以及對ETL整體流程的搭建;
3、負責oracle數據庫的優化,負責oracle數據庫性能調試,解決數據庫出現的疑難問題;
4、負責linux系統中腳本的`編寫及數據庫中存儲過程中的語句的編寫以及數據庫前沿技術的研究與探索;
5、輔助項目經理編寫相關文檔;
任職資格:
1、本科及以上學歷,計算機及相關專業;
2、一年以上數據庫開發、性能優化經驗。
3、熟悉Oracle、MySQL數據庫及Hadoop/Hbase等分布式數據存儲的設計及開發,熟悉SQL語言;
4、熟悉linux操作系統的使用,熟悉應用系統架構、中間件優先。
5、具有團隊合作精神,優良的溝通和協調能力,有較強的學習能力和鉆研能力;
6、為人正直、誠信,對工作認真負責,能夠承受一定工作壓力,適應加班要求;
數據工程師崗位職責 13
職責:
1.依據應用系統需求創建數據庫存儲,完成數據庫的更新、數據遷移、數據整理
2.管理數據庫用戶,維護數據庫安全。
3.確保數據庫狀態正常,處理日常事務性數據庫操作,提供業務和決策支持;
任職要求:
1、熟悉DB2或Oracle數據庫,具備DB2或Oracle開發經驗并能使用開發工具
2、熟悉數據庫備份恢復,數據遷移,數據庫調優和pl/sql編寫,
3、具備一定的`優化SQL語句的能力;
4、會使用SQL語句進行基礎增刪改查操作。遇到問題能自行解決。有實際經驗者優先。
數據工程師崗位職責 14
職責:
1、負責大數據平臺Hawq數據庫運維;
2、負責大數據平臺Tbase數據庫運維;
3、負責傳統數據(Oracle、MySQL等數據庫)數據遷移、數據同步;
4、負責日常數據庫的監控及問題分析排查;
5、負責OGG、Kafafa等組件數據傳輸同步日常運維;
6、負責數據庫的優化、SQL語句的.優化調優;
7、負責數據同步的檢驗與異常處理,確保數據的一致性、完整性、及時性;
8、負責制定數據同步方案及實施。
任職要求:
1、大;蛞陨蠈W歷,計算機或統計類相關專業
2、有3年以上技術類或數據類的開發經驗;
3、熟練linux系統操作及linux運維監控、軟件安裝配置;
4、熟悉大數據技術,如Hadoop、Spark、storm、zookeeper等;
5、熟悉主流數據庫mysql/sql serverl/oracle/postgreSQL等,精通SQL語句,對復雜SQL能進行優化,能熟練編寫存儲過程;
6、熟練Linux SHELL,可以進行運維SHELL開發;
7、學習能力強,責任心強,具有優秀的溝通表達、理解能力與團隊合作能力;
8、有CentOS 7、Red Hat 7等Linux操作系統,有Shell腳本編寫經驗的優先。
9、有3年以上的基于MPP(greenplum ,HAWQ,Vertica,GBASE等MPP DB)數據倉庫的實際運維經驗或3年以上HIVE、SPARK實際項目運維經驗
10、在實際項目中,有異構數據庫遷移經驗,從傳統ORACLE,MYSQL遷移至MPP數據倉庫的實戰經驗.
數據工程師崗位職責 15
1、學習并理解勵步云學業務及系統,根據業務部門需求對公司各項業務數據進行統計分析,出具相關報表;
2、進行數據倉庫設計、模型開發、數據質量校驗,報表開發;
3、進行數據差異分析,找出統計口徑、數據錯誤、操作錯誤等造成的差異原因;
4、進行數據查詢優化,解決跑數性能問題。
數據工程師崗位職責 16
職責描述:
1.負責導航地圖數據編譯開發工作;
2.負責地圖顯示、路徑計算、檢索的數據產品優化及新產品開發;
3.參與編譯器重構優化、需求定制開發和增量數據編譯發布開發;
4.負責地圖數據編譯服務平臺設計開發;
任職要求:
1)攝影測量與遙感、地圖制圖學、地理信息、或其他相關專業碩士及以上學歷,具有3年以上相關工作經驗
2)對于nds標準和模型有深入理解,具有扎實的背景知識,有高精地圖nds編譯工具實際開發經驗優先
3)熟悉現有的`導航地圖格式,了解高精地圖數據模型和格式更佳
4)精通c++語言,具有良好的編程習慣,熟悉常用設計模式
5)具有良好的英文讀寫能力,英語6級以上優先
6)具備良好的團隊合作和溝通能力,很強的邏輯思維能力和學習能力
數據工程師崗位職責 17
職責:
1、利用數據挖掘、機器學習相關算法,解決業務需求,提高產品的用戶體驗;
2、對海量的'業務數據、用戶數據進行挖掘分析,發現數據和業務背后的規律;
3、針對業務流程進行分析調研,探索提升轉化率效果的思路和方案并推動轉化、
崗位要求:
1、熟悉大規模數據挖掘、機器學習、分布式計算等相關技術,能熟練使用聚類、回歸、分類等算法并調優;
2、熟悉Linux環境開發,至少熟悉java/PHP/Python/Scala/Go/C/C++等語言中一種或一種以上;
3、熟悉基于Spark、ElasticSearch、hbase等大數據平臺的相關開發;
4、有深度學習實踐經驗者優先,有sparkmlib經驗者優先。
數據工程師崗位職責 18
1.嵌入式bootloader,kernel開發;
2.工業通訊協議解析等;
3.windows/linux平臺網關應用層程序開發;
4.網關產品的軟件功能測試驗證;
5.工業網關產品軟件sdk及library開發。
數據工程師崗位職責 19
工作職責:
1.數據倉庫和業務數據集市建設
2.業務模型抽象、數據模型設計開發
3.支持業務的數據需求,跟pm一起完善業務的數據分析體系和工具
4. etl、數據應用和服務的設計開發
5.積累數據生產、分析工具,不斷提高數據生產效率
6.實時數據倉庫設計、開發與服務
崗位要求:
1.快速的業務學習和理解能力,有良好的自驅能力,對工作充滿熱情
2.熟悉數據倉庫各類模型建模理論,了解數據倉庫數據分層架構,熟悉多維數據模型設計
3.具備大型數據倉庫架構設計、模型設計、etl設計的'相關經驗
4.精通oracle數據庫技術,深刻理解數據庫/oracle特性,有過硬的sql能力,能編寫高性能的數據處理程序。
5.具備hadoop、hive、hbase,spark等大數據技術背景,并具有開發經驗者優先
6.具備海量數據處理經驗者優先
數據工程師崗位職責 20
1、光學工程/應用光學等相關專業,本科以上學歷,3年以上工作經驗;
2、熟練使用Zemax等光學機械設計軟件;做事認真細致;態度積極向上。
3、了解掌握光學設備的裝調和技術問題的解決;
4、動手能力強,能夠熟練設計光學系統的裝調方案,熟悉光學設備定標的.實際操作;
5、有激光工作經驗優先、最好做過激光設備調試及售后工作。
數據工程師崗位職責 21
1、與營銷、研發部門溝通協助,確定項目的milestone與MP schedule;
2、制定各個工作的詳細任務,跟蹤任務的'執行情況并進行控制;
3、組織會議,對整個開發過程中的問題進行解決、檢討;
4、協調各項目參與人員之間的關系以及臨時的工作任務等。
數據工程師崗位職責 22
職責:
1、負責內容的處理,包括關鍵詞提取、主題分析、類目預測、質量打分等;
2、負責海量用戶行為的分析研究,挖掘優化用戶畫像,包括人口屬性和用戶興趣等;
3、負責推薦引擎算法的開發,包括各類推薦算法的實現、特征和參數調優、用戶體驗優化等;
4、負責數據營銷平臺策略的開發,包括用戶洞察、行業指數趨勢預測、各類精準定向算法的'實現和優化等;
5、負責人工智能技術的研究,包括機器學習、知識推理、文本語義理解、計算機視覺等技術;
6、通過海量數據對用戶廣告的行為進行深入分析與洞察,提煉和發現業務規律,指導推薦模型特征構建,定位產品相關的數據問題及分析優化;
7、結合廣告投放場景和用戶畫像進行分析、歸納統計指標建設,協助模型快速定位問題。
招聘要求及條件:
1、具備數據挖掘、NLP、機器學習、最優化等算法原理知識背景;
2、具備推薦系統、精準營銷、信息檢索等方面的工作經驗優先;
3、具備大規模分布式計算平臺的使用和并行算法的開發經驗,對大數據處理及應用有濃厚興趣;
4、具有機器學習、數據挖掘、算法優化的基礎并具有濃厚興趣;
5、熟悉統計原理及檢驗方法、熟悉數據分析方法;
6、熟悉分類、回歸、聚類、降維等機器學習算法及應用場景;
7、熟悉Java、Python等,能獨立完成相關的數據分析及分析報告相關工作。
【數據工程師崗位職責】相關文章:
數據工程師崗位崗位職責12-19
數據挖掘工程師崗位職責01-26
數據庫工程師崗位職責10-20
數據庫工程師崗位職責01-04
大數據研發工程師崗位職責04-06
數據倉庫工程師的崗位職責04-02
大數據開發工程師崗位職責01-09
數據庫工程師的崗位職責04-06
數據挖掘工程師工作的崗位職責08-21
數據倉庫工程師崗位職責03-13