hadoop崗位職責

hadoop崗位職責

　　在當今社會生活中，我們每個人都可能會接觸到崗位職責，崗位職責是指工作者具體工作的內容、所負的責任，及達到上級要求的標準，完成上級交付的任務。崗位職責到底怎么制定才合適呢？以下是小編為大家收集的hadoop崗位職責，供大家參考借鑒，希望可以幫助到有需要的朋友。

hadoop崗位職責1

　　職責描述：

　　1.kafka集群、spark、hive、hbase、hadoop平臺運維；

　　2.獨立完成運維過程中問題定位、問題解決、并進行總結文檔編寫；

　　3.參與大數據平臺etl處理，合理規劃大數據資源，提高大數據平臺資源利用率，負責基于大數據平臺的開發和基礎建設；

　　4.負責大數據平臺相關系統的運維工作；

　　5.跟蹤大數據論壇社區新技術發展，持續更新技術資源，挖掘更多應用場景。

　　任職要求：

　　1.統招本科以上學歷，3年以上大數據開發經驗；

　　2.熟悉hadoop、spark、kafka等技術，對底層架構有深入了解，有基于底層架構進行開發者優先考慮，精通linux腳本，熟悉linux腳本開發；

　　3.掌握flink/kylin/presto/elasticsearch/redis等一種或多種技術優先；精通hive、hbase數據庫開發，對其底層架構有深入研究者優先考慮；

　　4.熟悉數據架構，對數據處理有深入理解。熟悉掌握java/python/scala開發語言；

　　5.性格樂觀，積極主動，能夠主動承擔責任和解決實際問題。

hadoop崗位職責2

　　職位描述:

　　1.根據業務需求和落地環境確定大數據平臺的方案和具體搭建

　　2.負責大數據平臺及相關業務系統的(hadoop/spark/elasticsearch/zeppelin/jupyter等)的運維工作

　　3.對大數據基礎平臺系統穩定性負責，負責故障應急響應及指揮，做好故障發現和預防，為其持續優化提供建設性意見

　　4.與數據組合作，幫助處理優化項目中數據處理工作(數據采集、清洗、匯總、集成等)，保證數據的準確性和穩定性

　　崗位要求:

　　1.精通scala或python至少一門編程語言，兩種都熟悉優先

　　2.精通shell腳本編程

　　3.熟悉hadoop/hive/hbase/spark等分布式計算環境進行海量數據分析與計算;

　　4.做過數據倉庫，對數據治理、數據標準及元數據有很好理念及實施經驗的優先;

　　5.熟悉devops等自動化運維工具;

　　6.有過10臺以上集群運維的'經驗

　　7.良好的溝通能力和團隊精神，具備創新意識;

　　8.以結果為導向，具有強烈的責任心、鉆研精神和良好的團隊溝通能力。

　　關鍵詞:hadoop spark

hadoop崗位職責3

　　職位描述：

　　崗位為公司自研大數據平臺產品線，非定制外包。

　　崗位職責：

　　1.負責公司大數據平臺的hadoop技術棧研究，形成技術解決方案和整體的大數據架構。

　　2.負責hadoop平臺（分布式存儲、分布式資源管理和調度、分布式計算等）的架構研究、測試、優化搭建工作；

　　3.負責探索，研究新的hadoop生態中技術引擎，不斷擴充平臺能力。

　　4.制定hadoop整體集群使用規范，規范的hadoop日常維護、異常處理等工作，保障集群穩定、運行規范解決方案

　　5.負責公司定制項目的大數據架構的整體解決方案

　　6.負責各種行業大數據在不同應用場景的最佳開發實踐，提供流計算、批處理分析、數據挖掘、bi分析等技術解決方案

　　任職資格：

　　1.三年以上hadoop集群架構開發或架構經驗。

　　2.精通hadoop架構的設計以及生態，hadoop的集群的`搭建、部署、開發和運維

　　3.精通hadoop各個模塊的能力定位和配置，對hdfs、hbase、mr、spark等基本組件熟知

　　4.熟悉linux系統及調錯經驗，熟悉jvm運行機制，有shell、python開發經驗。

　　5.有鉆研新技術的熱情和能力，善于交流和表達，富有團隊精神

　　6.有企業級大數據系統設計經驗者優先。

　　7.有一定的代碼經驗，python/java/c++/ruby均可。

hadoop崗位職責4

　　崗位職責：

　　1.負責公司大數據平臺的hadoop技術棧研究，形成技術解決方案和整體的大數據架構。

　　2.負責hadoop平臺（分布式存儲、分布式資源管理和調度、分布式計算等）的架構研究、測試、優化搭建工作；

　　3.負責探索，?研究新的?hadoop?生態中技術引擎，不斷擴充平臺能力。

　　4.制定hadoop整體集群使用規范，規范的`hadoop日常維護、異常處理等工作，保障集群穩定、運行規范解決方案

　　5.負責公司定制項目的大數據架構的整體解決方案

　　6.負責各種行業大數據在不同應用場景的最佳開發實踐，提供流計算、批處理分析、數據挖掘、bi分析等技術解決方案

　　任職資格：

　　1.三年以上hadoop集群架構開發或架構經驗。

　　2.精通hadoop架構的設計以及生態，hadoop的集群的搭建、部署、開發和運維

　　3.精通hadoop各個模塊的能力定位和配置，對hdfs、hbase、mr、spark等基本組件熟知

　　4.熟悉linux系統及調錯經驗，熟悉?jvm?運行機制，有?shell、python開發經驗。

　　5.有鉆研新技術的熱情和能力，善于交流和表達，富有團隊精神

　　6.有企業級大數據系統設計經驗者優先。

　　7.有一定的代碼經驗，python/java/c++/ruby均可。

hadoop崗位職責5

　　崗位職責

　　1、hadoop平臺及各服務組件的運維、變更、故障和異常問題迅速定位;

　　2、hadoop平臺以及相關組件的規劃、部署、擴容及搭建安裝;

　　3、定期系統分析、性能調優，優化集群性能和資源利用率，提升集群性能，保證hadoop平臺各核心服務運行的穩定、高效;

　　4、編寫運維相關的`shell腳本或者python腳本，hadoop平臺運維相關文檔撰寫;

　　5、負責指導中低級工程師，為集群用戶和開發人員提供支持;

　　6、維持服務高效穩定，支撐業務和數據量的快速擴張;

　　人員要求

　　1、1年半及以上hadoop生態系統運維經驗。

　　2、熟練掌握linux操作系統，熟悉linux文件系統，內核、網絡等性能優化;

　　3、熟練掌握hdfs、yarn、hive、hbase、spark、storm等hadoop生態組件的功能和原理;

　　4、熟練掌握hadoop的安裝部署及性能調優;

　　5、熟悉一門以上腳本語言(shell、python、perl)，熟悉java;

　　6、具有良好責任心，團隊合作意識，具有良好的溝通能力和客戶服務意識;

　　7、對于優秀人才，學歷要求可適當放寬

hadoop崗位職責6

　　職位描述：

　　1、hadoop產品功能設計、開發與測試、性能優化，根據項目具體要求，承擔開發任務，按計劃完成任務目標

　　2、負責編制與項目相關的技術文檔。

　　任職要求：

　　1、計算機相關專業，本科及以上學歷，2年以上hadoop開發工作經驗；

　　2、熟練使用linux系統，熟悉內核和shell腳本編寫，能夠在linux環境下進行開發工作；

　　3、熟練使用java語言進行開發；

　　4、熟悉分布式文件系的設計和使用，調試優化過hdfs文件系統者優先；

　　5、良好的代碼開發風格及開發習慣，學習能力、溝通能力，英文資料閱讀和理解能力；

　　6、參與過hadoop社區貢獻者優先；

　　以下要求至少滿足其中1項：

　　7、熟悉hadoop的`架構和原理，以及參數調優和性能優化，了解partition，shuffle，sort等機制。

　　8、有設計，調試或者優化類似hdfs文件系統經驗；

　　工作地點：南京

hadoop崗位職責7

　　崗位職責：

　　1.負責公司大數據平臺的hadoop技術棧研究，形成技術解決方案和整體的大數據架構。

　　2.負責hadoop平臺（分布式存儲、分布式資源管理和調度、分布式計算等）的`架構研究、測試、優化搭建工作；

　　3.負責探索，?研究新的?hadoop?生態中技術引擎，不斷擴充平臺能力。

　　4.制定hadoop整體集群使用規范，規范的hadoop日常維護、異常處理等工作，保障集群穩定、運行規范解決方案

　　5.負責公司定制項目的大數據架構的整體解決方案

　　6.負責各種行業大數據在不同應用場景的最佳開發實踐，提供流計算、批處理分析、數據挖掘、bi分析等技術解決方案

　　任職資格：

　　1.三年以上hadoop集群架構開發或架構經驗。

　　2.精通hadoop架構的設計以及生態，hadoop的集群的搭建、部署、開發和運維

　　3.精通hadoop各個模塊的能力定位和配置，對hdfs、hbase、mr、spark等基本組件熟知

　　4.熟悉linux系統及調錯經驗，熟悉?jvm?運行機制，有?shell、python開發經驗。

　　5.有鉆研新技術的熱情和能力，善于交流和表達，富有團隊精神

　　6.有企業級大數據系統設計經驗者優先。

　　7.有一定的代碼經驗，python/java/c++/ruby均可。

hadoop崗位職責8

　　職位描述：

　　incorporated in 20xx，kpmg technology r&d centre combines four functions: r&d，in-house services，outsourced services and operational services.it is kpmg’s first r&d centre and second delivery centre in china.

　　as kpmg’s first r&d centre in china，our business activities currently include:

　　1.development，design，production of computer software and computer system integration;

　　2.ai，r&d and delivery of technologies

　　3.big data-related services and technical support，including data development，data processing，data mining etc.

　　driven by increasing market demand，we will expand the r&d centre’s scope of business on an ongoing basis to enable technologies to provide quality services for our clients.

　　responsibilities

　　work as part of a team supporting the following business platforms:

　　- enterprise data warehouse

　　- provide guidance on designing big data platform architecture

　　- conduct research on latest big data platform products

　　- take responsibility for designing the core components of big data platform such as: hdfs、mapreduce、hiva、hbase

　　skills and experience

　　- familiar with linux java development environment and java ee specifications

　　- familiar with basic data structures and common algorithm

　　- familiar with shell and/or java and / or scala

　　- familiar with basic linux operations

　　- ability to multi-task，strong sense of responsibility，and very strong communication skills

　　- deep knowledge of hadoop，spark，hive，nosql，hbase，map reduce is a plus

hadoop崗位職責9

　　崗位職責：

　　1、負責hadoop平臺上的.數據存儲，數據維護和優化；

　　2、編寫一些pig，hive等分析腳本；

　　3、負責把一些分析結果導入到數據庫中，為bi提供基礎數據分析；

　　4、hadoop集群問題排查，并提出解決方案；

　　5、job報錯問題排查；

　　6、根據集群的問題，開發一些監控程序，解決隱患；

　　7、平臺工具開發或者提供第三方開源工具。

　　任職要求：

　　1、深入了解hadoop運行機制，包括hdfs/mapreduce/zookeeper/yarn等工作原理。

　　2、了解分布式系統的原理。

　　3、負責hadoop平臺上的數據存儲，數據維護和優化；

　　4、hadoop集群問題排查，并提出解決方案；

　　5、開發監控程序，解決存在的隱患；

　　6、有hadoop平臺運維經驗優先。

　　7、有大數據平臺工具開發經驗。

hadoop崗位職責10

　　工作職責：

　　1、打造業界領先的大數據基礎設施，包括數據接入，同步，存儲、計算，查詢等環節的分布式系統，為海量數據和大規模業務系統提供可靠的'基礎設施；

　　2、與開源社區保持交流，發現對業務場景有幫助的特性并引入生產環境，或將經內部驗證的特性貢獻到社區；

　　3、承擔千臺規模集群的管理工作，與業務一起解決性能優化、容量規劃、預算審計等問題，保障集群高效穩定經濟運行；

　　任職資格：

　　1、計算機基礎扎實，熟悉常用數據結構和算法，具備較強的邏輯思維能力和編碼能力；

　　2、掌握分布式系統原理，對存儲、計算、消息隊列、資源管理，數據同步等中的一項或多項有深入的理解和認識；

　　3、樂于挑戰沒有明顯答案的問題，能快速理解業務場景，從具體問題中抽象出通用的解決方案；

　　4，熟悉hadoop，hbase，zookeeper，flume，k8s等基礎服務中的一項或多項；

　　5、有kafka或者同類型技術設計開發及集群管理經驗者優先。

hadoop崗位職責11

　　崗位職責：

　　1.參與人工智能開源開放平臺核心系統的構建；

　　2.人工智能開源開放平臺相關前沿技術、運用調研及落地；

　　3.負責人工智能開源開放平臺性能的優化。

　　任職要求：

　　1.國內學歷：統招全日制985/211碩士及以上學歷，取得學位證和畢業證；

　　2.國外學歷：海外全日制碩士及以上學歷；qs世界大學排名前300高等院校；海外留學時長不少于1.5年；

　　3.有大型互聯網公司大數據平臺及數據開發經驗者優先；

　　4.扎實的java、python基礎，掌握常用數據結構（鏈表、哈希、樹）等；

　　5.精通linux/unix環境，熟悉linux性能調優，熟練掌握shell，有良好的.計算機網絡基礎；

　　6.有較強的產品理解，能從技術角度推動產品優化；

　　7.有如下技能者優先，spark/spark streaming/hadoop/hdfs/kafka/elastic search；

　　8.英語6級，能讀懂相關外文技術文獻。

hadoop崗位職責12

　　工作職責:

　　1、負責全行大數據在各類業務場景中的應用規劃及設計方案的制定;

　　2、負責對全行大數據的標準化進行梳理并制定相應方案;

　　3、負責制定全行的元數據集，并對元數據管理的流程、技術方案進行設計;

　　4、面向數據價值服務為數據應用場景進行方案設計并指導落實實施;

　　5、負責對大數據相關領域的創新性研究和知識產權保護工作;

　　6、領導交辦的其他工作內容。

　　任職要求:

　　1、全日制本科及以上學歷，計算機、通信工程、數學等相關專業;

　　2、具備3年以上大數據相關開發經驗，2年以上大數據系統相關設計經驗;

　　3、熟悉hadoop、hive、hbase、flume、sqoop、spark以及流式計算等大數據相關技術，并具備相關開發經驗;

　　4、在金融行業或互聯網金融領域有過相關工作經驗者優先考慮;

　　5、具備良好的溝通能力、團隊合作精神，能接受高強度工作。大數據架構師:

　　工作職責:

　　1、負責全行大數據在各類業務場景中的應用規劃及設計方案的制定;

　　2、負責對全行大數據的`標準化進行梳理并制定相應方案;

　　3、負責制定全行的元數據集，并對元數據管理的流程、技術方案進行設計;

　　4、面向數據價值服務為數據應用場景進行方案設計并指導落實實施;

　　5、負責對大數據相關領域的創新性研究和知識產權保護工作;

　　6、領導交辦的其他工作內容。

　　任職要求:

　　1、全日制本科及以上學歷，計算機、通信工程、數學等相關專業;

　　2、具備3年以上大數據相關開發經驗，2年以上大數據系統相關設計經驗;

　　3、熟悉hadoop、hive、hbase、flume、sqoop、spark以及流式計算等大數據相關技術，并具備相關開發經驗;

　　4、在金融行業或互聯網金融領域有過相關工作經驗者優先考慮;

　　5、具備良好的溝通能力、團隊合作精神，能接受高強度工作。

hadoop崗位職責13

　　職責描述：

　　1.負責設計和搭建軟件系統架構（平臺、數據庫、接口和應用架構等），解決開發中各種系統架構問題。

　　2.優化現有系統的性能，解決軟件系統平臺關鍵技術問題攻關、核心功能模塊設計。

　　3.在項目需求不斷細化的工程中校正整體的架構設計，以及詳細模塊拆分設計。

　　4.營造技術學習氛圍，帶領團隊不斷完善開發方法及流程，提升開發效率與質量，加強技術標準及規范。

　　5.帶領團隊攻克例如大數據量、高并發、高穩定性等帶來的各種挑戰及技術難關。

　　6.參與討論公司產品發展方向，完整的.規劃和把握產品研發架構。

　　任職要求：

　　五年以上java開發經驗，有獨立完成項目經驗和能力；

　　1.精通springmvc+mybatis或ssh等框架的搭建和開發；

　　2.精通tomcat，apache，nginx等web服務器的管理和調優；

　　3.精通mysql/mariadb或postgres數據庫的開發，管理和調優；

　　4.熟練使用redis，rabbitmq，mongodb等相關或類似技術；

　　5.懂得node.js，jquery，h5，websocket，長鏈接，nio等技術；

　　6.熟練使用linux（centos/ubuntu)操作和管理；

　　7.擅長系統性能調優和疑難問題調試；

　　8.熟悉oracle、hbase、hive等數據庫的開發優化；

　　9.熟悉hadoop、spark等大數據平臺；

　　10.懂得構建高性能高并發分布式服務架構體系優先；

　　11.懂的數據安全、應用安全和系統安全可以加分；

　　12.具有團隊合作精神、能帶隊和懂項目管理可以加分。

hadoop崗位職責14

　　工作職責:

　　1.負責搭建數據平臺、數據倉庫平臺、物聯網數據平臺、ai數據平臺，負責數據平臺架構的整合、優化、開發、部署實施、運維相關工作，確保數據平臺穩定運行

　　2.主導搭建數據平臺(dw / ai / hadoop平臺等)，提供數據接口對接、存儲、提取、處理、清洗、邏輯解析、規范化、iot設備互聯互通能力

　　3.具備java，sql開發經驗，性能調測，開源代碼商業化，底層基礎架構搭建

　　4.參與公司數據處理方向的技術拓展，保障公司業務的'數據需求

　　5.負責數據平臺實時計算/分布式并行計算的架構設計代碼編寫，及開源技術組件的二次開發

　　6.運用hadoop/sparksql與spark streaming或者其它數據分析技術，進行包括需求分析，平臺選擇，技術構架涉及等技術支持工作，確保能夠保障公司業務的數據需求

　　任職要求:

　　1.熟悉傳統數據倉庫，至少三年以上數據倉庫開發、構建、運維經驗

　　2.熟悉hadoop技術體系，有hadoop/spark架構經驗，有hadoop計算集群在實際項目上的開發和維護經驗

　　3.兩年以上基于hadoop/spark/hbase/hive等分布式數據計算應用開發經驗

　　4.熟悉數據平臺數據同步技術，如:ogg，cdc，sqoop等，并有實際經驗

　　5.熟悉大數據大數據性能優化，并有實際項目經驗

　　6.熟悉apache mahout/spark mlib的各種算法

　　7.精通java，熟練掌握mapreduce原理以及數據分析相關的二次開發

　　8.熟悉linux/unix，熟悉perl/python/shell等腳本開發語言

　　9.了解敏捷開發流程，有敏捷開發經驗者優先

　　10.良好的數據結構和算法基礎，有較強的算法設計和實現能力

　　11.本科以上學歷，計算機及相關專業

hadoop崗位職責15

　　職責描述：

　　1，基于hadoop進行mapreduce、hive和hbase的應用開發；

　　2，維護和管理大規模hadoop集群，解決不斷增長的海量數據帶來的存儲和計算挑戰；

　　3，大數據平臺數據清洗、轉換和建模的.開發。

　　任職要求：

　　1，熟悉hadoop/hbase/spark/hive生態環境體系的搭建和管理，掌握hadoop、hbase、mapreduce、hdfs、hive、kylin、zookeeper等開源項目的原理和使用方法，具有實際集群搭建和調優經驗；

　　2，熟悉并有java開發經驗，有大平臺架構開發經驗；

　　3，掌握至少一種nosql數據庫，具有真正項目使用經驗；

　　4，掌握數據分析的基本流程，擅長數據采集、清洗、分析等環節；

　　5，熟悉后端服務（restful api服務實現）優先；

　　6，熟悉使用sqlserver、oracle、mysql一種；

　　7，良好團隊協作和溝通能力；

　　8，大專及以上學歷，3-5年及以上工作經驗。

hadoop崗位職責16

　　職責

　　搭建和維護hadoop數據分析平臺

　　協助研究r與hadoop結合實施大數據挖掘

　　依據分析挖掘方案，建立模型、生成分析結果、統計表、圖和列表等的程序代碼。

　　協助項目團隊負責人履行項目職責。

　　能力和技能

　　熟悉linux操作系統、java、hadoop的運營及算法。

　　具備基本的統計編程知識，例如r、base sas、sas/stat、sas宏語言、sql。

　　具備一定的溝通能力。

　　具備有效處理多任務的能力。

　　具備一定的`計算能力及發現細節的能力。

　　具備團隊合作能力。

　　學歷和經驗要求:

　　計算機、數學專業學士學歷及以上，或同等教育背景并具有統計編程經驗;有hadoop運營經驗、hadoop算法經驗者優先。

hadoop崗位職責17

　　職位描述：

　　1.計算機及計算機相關專業本科或本科以上學歷；

　　2.十年以上開發工作經驗；

　　3.精通java編程，熟練掌握spring cloud、spring boot、spring framework、spring security、spring mvc、spring data、mybatis、hibernate、zookeeper等主流的開發框架，有良好的.編程習慣。

　　4.精通大數據hadoop、spark、hbase、hive、kafka等產品技術及應用開發。

　　5.精通多線程編程、分布式事務、存儲系統（如oracle、mongodb、redis等）的性能調優和應用開發；

　　6.具備優秀的邏輯思維能力，對解決挑戰性問題充滿熱情，善于解決問題和分析問題；

　　7.有強烈的上進心和求知欲，善于學習新事物，良好的團隊合作精神，較強的溝通能力和學習能力。

hadoop崗位職責18

　　工作職責：

　　1、參與打造業界領先的存儲、計算、消息隊列等分布式系統

　　2、為海量數據及其上的大規模數據挖掘、數據分析、機器學習業務系統提供可靠、高效的支持

　　3、深入了解業務需求，利用存儲技術支持關鍵業務場景

　　任職要求：

　　1、掌握分布式系統原理，對存儲、計算、消息隊列的`一項或多項有深入的理解和認識

　　2、樂于挑戰沒有明顯答案的問題，能快速理解業務場景，從具體問題中抽象出通用的解決方案

　　3、有較好的溝通能力；有良好的團隊合作精神

【hadoop崗位職責】相關文章：

Hadoop運維工程師崗位職責02-10

Hadoop就業前景薪資如何05-16

基于Hadoop分布式文件系統的單點問題的研究論文04-27

值班崗位職責-崗位職責07-25

倉管員的崗位職責-崗位職責01-15

it部經理崗位職責-崗位職責07-25

物業班長崗位職責-崗位職責11-03

庫管崗位職責-崗位職責01-10

渠道銷售崗位職責-崗位職責01-10