- Hadoop運維工程師崗位職責 推薦度:
- 相關推薦
hadoop崗位職責
在當今社會生活中,我們每個人都可能會接觸到崗位職責,崗位職責是指工作者具體工作的內容、所負的責任,及達到上級要求的標準,完成上級交付的任務。崗位職責到底怎么制定才合適呢?以下是小編為大家收集的hadoop崗位職責,供大家參考借鑒,希望可以幫助到有需要的朋友。
hadoop崗位職責1
職責描述:
1.kafka集群、spark、hive、hbase、hadoop平臺運維;
2.獨立完成運維過程中問題定位、問題解決、并進行總結文檔編寫;
3.參與大數據平臺etl處理,合理規(guī)劃大數據資源,提高大數據平臺資源利用率,負責基于大數據平臺的開發(fā)和基礎建設;
4.負責大數據平臺相關系統(tǒng)的運維工作;
5.跟蹤大數據論壇社區(qū)新技術發(fā)展,持續(xù)更新技術資源,挖掘更多應用場景。
任職要求:
1.統(tǒng)招本科以上學歷,3年以上大數據開發(fā)經驗;
2.熟悉hadoop、spark、kafka等技術,對底層架構有深入了解,有基于底層架構進行開發(fā)者優(yōu)先考慮,精通linux腳本,熟悉linux腳本開發(fā);
3.掌握flink/kylin/presto/elasticsearch/redis等一種或多種技術優(yōu)先;精通hive、hbase數據庫開發(fā),對其底層架構有深入研究者優(yōu)先考慮;
4.熟悉數據架構,對數據處理有深入理解。熟悉掌握java/python/scala開發(fā)語言;
5.性格樂觀,積極主動,能夠主動承擔責任和解決實際問題。
hadoop崗位職責2
職位描述:
1.根據業(yè)務需求和落地環(huán)境確定大數據平臺的方案和具體搭建
2.負責大數據平臺及相關業(yè)務系統(tǒng)的(hadoop/spark/elasticsearch/zeppelin/jupyter等)的運維工作
3.對大數據基礎平臺系統(tǒng)穩(wěn)定性負責,負責故障應急響應及指揮,做好故障發(fā)現(xiàn)和預防,為其持續(xù)優(yōu)化提供建設性意見
4.與數據組合作,幫助處理優(yōu)化項目中數據處理工作(數據采集、清洗、匯總、集成等),保證數據的準確性和穩(wěn)定性
崗位要求:
1.精通scala或python至少一門編程語言,兩種都熟悉優(yōu)先
2.精通shell腳本編程
3.熟悉hadoop/hive/hbase/spark等分布式計算環(huán)境進行海量數據分析與計算;
4.做過數據倉庫,對數據治理、數據標準及元數據有很好理念及實施經驗的優(yōu)先;
5.熟悉devops等自動化運維工具;
6.有過10臺以上集群運維的'經驗
7.良好的溝通能力和團隊精神,具備創(chuàng)新意識;
8.以結果為導向,具有強烈的責任心、鉆研精神和良好的團隊溝通能力。
關鍵詞:hadoop spark
hadoop崗位職責3
職位描述:
崗位為公司自研大數據平臺產品線,非定制外包。
崗位職責:
1.負責公司大數據平臺的hadoop技術棧研究,形成技術解決方案和整體的大數據架構。
2.負責hadoop平臺(分布式存儲、分布式資源管理和調度、分布式計算等)的架構研究、測試、優(yōu)化搭建工作;
3.負責探索,研究新的hadoop生態(tài)中技術引擎,不斷擴充平臺能力。
4.制定hadoop整體集群使用規(guī)范,規(guī)范的hadoop日常維護、異常處理等工作,保障集群穩(wěn)定、運行規(guī)范解決方案
5.負責公司定制項目的大數據架構的整體解決方案
6.負責各種行業(yè)大數據在不同應用場景的最佳開發(fā)實踐,提供流計算、批處理分析、數據挖掘、bi分析等技術解決方案
任職資格:
1.三年以上hadoop集群架構開發(fā)或架構經驗。
2.精通hadoop架構的設計以及生態(tài),hadoop的集群的`搭建、部署、開發(fā)和運維
3.精通hadoop各個模塊的能力定位和配置,對hdfs、hbase、mr、spark等基本組件熟知
4.熟悉linux系統(tǒng)及調錯經驗,熟悉jvm運行機制,有shell、python開發(fā)經驗。
5.有鉆研新技術的熱情和能力,善于交流和表達,富有團隊精神
6.有企業(yè)級大數據系統(tǒng)設計經驗者優(yōu)先。
7.有一定的代碼經驗,python/java/c++/ruby均可。
hadoop崗位職責4
崗位職責:
1.負責公司大數據平臺的hadoop技術棧研究,形成技術解決方案和整體的大數據架構。
2.負責hadoop平臺(分布式存儲、分布式資源管理和調度、分布式計算等)的架構研究、測試、優(yōu)化搭建工作;
3.負責探索,?研究新的?hadoop?生態(tài)中技術引擎,不斷擴充平臺能力。
4.制定hadoop整體集群使用規(guī)范,規(guī)范的`hadoop日常維護、異常處理等工作,保障集群穩(wěn)定、運行規(guī)范解決方案
5.負責公司定制項目的大數據架構的整體解決方案
6.負責各種行業(yè)大數據在不同應用場景的最佳開發(fā)實踐,提供流計算、批處理分析、數據挖掘、bi分析等技術解決方案
任職資格:
1.三年以上hadoop集群架構開發(fā)或架構經驗。
2.精通hadoop架構的設計以及生態(tài),hadoop的集群的搭建、部署、開發(fā)和運維
3.精通hadoop各個模塊的能力定位和配置,對hdfs、hbase、mr、spark等基本組件熟知
4.熟悉linux系統(tǒng)及調錯經驗,熟悉?jvm?運行機制,有?shell、python開發(fā)經驗。
5.有鉆研新技術的熱情和能力,善于交流和表達,富有團隊精神
6.有企業(yè)級大數據系統(tǒng)設計經驗者優(yōu)先。
7.有一定的代碼經驗,python/java/c++/ruby均可。
hadoop崗位職責5
崗位職責
1、hadoop平臺及各服務組件的運維、變更、故障和異常問題迅速定位;
2、hadoop平臺以及相關組件的規(guī)劃、部署、擴容及搭建安裝;
3、定期系統(tǒng)分析、性能調優(yōu),優(yōu)化集群性能和資源利用率,提升集群性能,保證hadoop平臺各核心服務運行的穩(wěn)定、高效;
4、編寫運維相關的`shell腳本或者python腳本,hadoop平臺運維相關文檔撰寫;
5、負責指導中低級工程師,為集群用戶和開發(fā)人員提供支持;
6、維持服務高效穩(wěn)定,支撐業(yè)務和數據量的快速擴張;
人員要求
1、1年半及以上hadoop生態(tài)系統(tǒng)運維經驗。
2、熟練掌握linux操作系統(tǒng),熟悉linux文件系統(tǒng),內核、網絡等性能優(yōu)化;
3、熟練掌握hdfs、yarn、hive、hbase、spark、storm等hadoop生態(tài)組件的功能和原理;
4、熟練掌握hadoop的安裝部署及性能調優(yōu);
5、熟悉一門以上腳本語言(shell、python、perl),熟悉java;
6、具有良好責任心,團隊合作意識,具有良好的溝通能力和客戶服務意識;
7、對于優(yōu)秀人才,學歷要求可適當放寬
hadoop崗位職責6
職位描述:
1、hadoop產品功能設計、開發(fā)與測試、性能優(yōu)化,根據項目具體要求,承擔開發(fā)任務,按計劃完成任務目標
2、負責編制與項目相關的技術文檔。
任職要求:
1、計算機相關專業(yè),本科及以上學歷,2年以上hadoop開發(fā)工作經驗;
2、熟練使用linux系統(tǒng),熟悉內核和shell腳本編寫,能夠在linux環(huán)境下進行開發(fā)工作;
3、熟練使用java語言進行開發(fā);
4、熟悉分布式文件系的設計和使用,調試優(yōu)化過hdfs文件系統(tǒng)者優(yōu)先;
5、良好的代碼開發(fā)風格及開發(fā)習慣,學習能力、溝通能力,英文資料閱讀和理解能力;
6、參與過hadoop社區(qū)貢獻者優(yōu)先;
以下要求至少滿足其中1項:
7、熟悉hadoop的`架構和原理,以及參數調優(yōu)和性能優(yōu)化,了解partition,shuffle,sort等機制。
8、有設計,調試或者優(yōu)化類似hdfs文件系統(tǒng)經驗;
工作地點:南京
hadoop崗位職責7
崗位職責:
1.負責公司大數據平臺的hadoop技術棧研究,形成技術解決方案和整體的大數據架構。
2.負責hadoop平臺(分布式存儲、分布式資源管理和調度、分布式計算等)的`架構研究、測試、優(yōu)化搭建工作;
3.負責探索,?研究新的?hadoop?生態(tài)中技術引擎,不斷擴充平臺能力。
4.制定hadoop整體集群使用規(guī)范,規(guī)范的hadoop日常維護、異常處理等工作,保障集群穩(wěn)定、運行規(guī)范解決方案
5.負責公司定制項目的大數據架構的整體解決方案
6.負責各種行業(yè)大數據在不同應用場景的最佳開發(fā)實踐,提供流計算、批處理分析、數據挖掘、bi分析等技術解決方案
任職資格:
1.三年以上hadoop集群架構開發(fā)或架構經驗。
2.精通hadoop架構的設計以及生態(tài),hadoop的集群的搭建、部署、開發(fā)和運維
3.精通hadoop各個模塊的能力定位和配置,對hdfs、hbase、mr、spark等基本組件熟知
4.熟悉linux系統(tǒng)及調錯經驗,熟悉?jvm?運行機制,有?shell、python開發(fā)經驗。
5.有鉆研新技術的熱情和能力,善于交流和表達,富有團隊精神
6.有企業(yè)級大數據系統(tǒng)設計經驗者優(yōu)先。
7.有一定的代碼經驗,python/java/c++/ruby均可。
hadoop崗位職責8
職位描述:
incorporated in 20xx,kpmg technology r&d centre combines four functions: r&d,in-house services,outsourced services and operational services.it is kpmg’s first r&d centre and second delivery centre in china.
as kpmg’s first r&d centre in china,our business activities currently include:
1.development,design,production of computer software and computer system integration;
2.ai,r&d and delivery of technologies
3.big data-related services and technical support,including data development,data processing,data mining etc.
driven by increasing market demand,we will expand the r&d centre’s scope of business on an ongoing basis to enable technologies to provide quality services for our clients.
responsibilities
work as part of a team supporting the following business platforms:
- enterprise data warehouse
- provide guidance on designing big data platform architecture
- conduct research on latest big data platform products
- take responsibility for designing the core components of big data platform such as: hdfs、mapreduce、hiva、hbase
skills and experience
- familiar with linux java development environment and java ee specifications
- familiar with basic data structures and common algorithm
- familiar with shell and/or java and / or scala
- familiar with basic linux operations
- ability to multi-task,strong sense of responsibility,and very strong communication skills
- deep knowledge of hadoop,spark,hive,nosql,hbase,map reduce is a plus
hadoop崗位職責9
崗位職責:
1、負責hadoop平臺上的.數據存儲,數據維護和優(yōu)化;
2、編寫一些pig,hive等分析腳本;
3、負責把一些分析結果導入到數據庫中,為bi提供基礎數據分析;
4、hadoop集群問題排查,并提出解決方案;
5、job報錯問題排查;
6、根據集群的問題,開發(fā)一些監(jiān)控程序,解決隱患;
7、平臺工具開發(fā)或者提供第三方開源工具。
任職要求:
1、深入了解hadoop運行機制,包括hdfs/mapreduce/zookeeper/yarn等工作原理。
2、了解分布式系統(tǒng)的原理。
3、負責hadoop平臺上的數據存儲,數據維護和優(yōu)化;
4、hadoop集群問題排查,并提出解決方案;
5、開發(fā)監(jiān)控程序,解決存在的隱患;
6、有hadoop平臺運維經驗優(yōu)先。
7、有大數據平臺工具開發(fā)經驗。
hadoop崗位職責10
工作職責:
1、打造業(yè)界領先的大數據基礎設施,包括數據接入,同步,存儲、計算,查詢等環(huán)節(jié)的分布式系統(tǒng),為海量數據和大規(guī)模業(yè)務系統(tǒng)提供可靠的'基礎設施;
2、與開源社區(qū)保持交流,發(fā)現(xiàn)對業(yè)務場景有幫助的特性并引入生產環(huán)境,或將經內部驗證的特性貢獻到社區(qū);
3、承擔千臺規(guī)模集群的管理工作,與業(yè)務一起解決性能優(yōu)化、容量規(guī)劃、預算審計等問題,保障集群高效穩(wěn)定經濟運行;
任職資格:
1、計算機基礎扎實,熟悉常用數據結構和算法,具備較強的邏輯思維能力和編碼能力;
2、掌握分布式系統(tǒng)原理,對存儲、計算、消息隊列、資源管理,數據同步等中的一項或多項有深入的理解和認識;
3、樂于挑戰(zhàn)沒有明顯答案的問題,能快速理解業(yè)務場景,從具體問題中抽象出通用的解決方案;
4,熟悉hadoop,hbase,zookeeper,flume,k8s等基礎服務中的一項或多項;
5、有kafka或者同類型技術設計開發(fā)及集群管理經驗者優(yōu)先。
hadoop崗位職責11
崗位職責:
1.參與人工智能開源開放平臺核心系統(tǒng)的構建;
2.人工智能開源開放平臺相關前沿技術、運用調研及落地;
3.負責人工智能開源開放平臺性能的優(yōu)化。
任職要求:
1.國內學歷:統(tǒng)招全日制985/211碩士及以上學歷,取得學位證和畢業(yè)證;
2.國外學歷:海外全日制碩士及以上學歷;qs世界大學排名前300高等院校;海外留學時長不少于1.5年;
3.有大型互聯(lián)網公司大數據平臺及數據開發(fā)經驗者優(yōu)先;
4.扎實的java、python基礎,掌握常用數據結構(鏈表、哈希、樹)等;
5.精通linux/unix環(huán)境,熟悉linux性能調優(yōu),熟練掌握shell,有良好的.計算機網絡基礎;
6.有較強的產品理解,能從技術角度推動產品優(yōu)化;
7.有如下技能者優(yōu)先,spark/spark streaming/hadoop/hdfs/kafka/elastic search;
8.英語6級,能讀懂相關外文技術文獻。
hadoop崗位職責12
工作職責:
1、負責全行大數據在各類業(yè)務場景中的應用規(guī)劃及設計方案的制定;
2、負責對全行大數據的標準化進行梳理并制定相應方案;
3、負責制定全行的元數據集,并對元數據管理的流程、技術方案進行設計;
4、面向數據價值服務為數據應用場景進行方案設計并指導落實實施;
5、負責對大數據相關領域的創(chuàng)新性研究和知識產權保護工作;
6、領導交辦的其他工作內容。
任職要求:
1、全日制本科及以上學歷,計算機、通信工程、數學等相關專業(yè);
2、具備3年以上大數據相關開發(fā)經驗,2年以上大數據系統(tǒng)相關設計經驗;
3、熟悉hadoop、hive、hbase、flume、sqoop、spark以及流式計算等大數據相關技術,并具備相關開發(fā)經驗;
4、在金融行業(yè)或互聯(lián)網金融領域有過相關工作經驗者優(yōu)先考慮;
5、具備良好的溝通能力、團隊合作精神,能接受高強度工作。大數據架構師:
工作職責:
1、負責全行大數據在各類業(yè)務場景中的應用規(guī)劃及設計方案的制定;
2、負責對全行大數據的`標準化進行梳理并制定相應方案;
3、負責制定全行的元數據集,并對元數據管理的流程、技術方案進行設計;
4、面向數據價值服務為數據應用場景進行方案設計并指導落實實施;
5、負責對大數據相關領域的創(chuàng)新性研究和知識產權保護工作;
6、領導交辦的其他工作內容。
任職要求:
1、全日制本科及以上學歷,計算機、通信工程、數學等相關專業(yè);
2、具備3年以上大數據相關開發(fā)經驗,2年以上大數據系統(tǒng)相關設計經驗;
3、熟悉hadoop、hive、hbase、flume、sqoop、spark以及流式計算等大數據相關技術,并具備相關開發(fā)經驗;
4、在金融行業(yè)或互聯(lián)網金融領域有過相關工作經驗者優(yōu)先考慮;
5、具備良好的溝通能力、團隊合作精神,能接受高強度工作。
hadoop崗位職責13
職責描述:
1.負責設計和搭建軟件系統(tǒng)架構(平臺、數據庫、接口和應用架構等),解決開發(fā)中各種系統(tǒng)架構問題。
2.優(yōu)化現(xiàn)有系統(tǒng)的性能,解決軟件系統(tǒng)平臺關鍵技術問題攻關、核心功能模塊設計。
3.在項目需求不斷細化的工程中校正整體的架構設計,以及詳細模塊拆分設計。
4.營造技術學習氛圍,帶領團隊不斷完善開發(fā)方法及流程,提升開發(fā)效率與質量,加強技術標準及規(guī)范。
5.帶領團隊攻克例如大數據量、高并發(fā)、高穩(wěn)定性等帶來的各種挑戰(zhàn)及技術難關。
6.參與討論公司產品發(fā)展方向,完整的.規(guī)劃和把握產品研發(fā)架構。
任職要求:
五年以上java開發(fā)經驗,有獨立完成項目經驗和能力;
1.精通springmvc+mybatis或ssh等框架的搭建和開發(fā);
2.精通tomcat,apache,nginx等web服務器的管理和調優(yōu);
3.精通mysql/mariadb或postgres數據庫的開發(fā),管理和調優(yōu);
4.熟練使用redis,rabbitmq,mongodb等相關或類似技術;
5.懂得node.js,jquery,h5,websocket,長鏈接,nio等技術;
6.熟練使用linux(centos/ubuntu)操作和管理;
7.擅長系統(tǒng)性能調優(yōu)和疑難問題調試;
8.熟悉oracle、hbase、hive等數據庫的開發(fā)優(yōu)化;
9.熟悉hadoop、spark等大數據平臺;
10.懂得構建高性能高并發(fā)分布式服務架構體系優(yōu)先;
11.懂的數據安全、應用安全和系統(tǒng)安全可以加分;
12.具有團隊合作精神、能帶隊和懂項目管理可以加分。
hadoop崗位職責14
工作職責:
1.負責搭建數據平臺、數據倉庫平臺、物聯(lián)網數據平臺、ai數據平臺,負責數據平臺架構的整合、優(yōu)化、開發(fā)、部署實施、運維相關工作,確保數據平臺穩(wěn)定運行
2.主導搭建數據平臺(dw / ai / hadoop平臺等),提供數據接口對接、存儲、提取、處理、清洗、邏輯解析、規(guī)范化、iot設備互聯(lián)互通能力
3.具備java,sql開發(fā)經驗,性能調測,開源代碼商業(yè)化,底層基礎架構搭建
4.參與公司數據處理方向的技術拓展,保障公司業(yè)務的'數據需求
5.負責數據平臺實時計算/分布式并行計算的架構設計代碼編寫,及開源技術組件的二次開發(fā)
6.運用hadoop/sparksql與spark streaming或者其它數據分析技術,進行包括需求分析,平臺選擇,技術構架涉及等技術支持工作,確保能夠保障公司業(yè)務的數據需求
任職要求:
1.熟悉傳統(tǒng)數據倉庫,至少三年以上數據倉庫開發(fā)、構建、運維經驗
2.熟悉hadoop技術體系,有hadoop/spark架構經驗,有hadoop計算集群在實際項目上的開發(fā)和維護經驗
3.兩年以上基于hadoop/spark/hbase/hive等分布式數據計算應用開發(fā)經驗
4.熟悉數據平臺數據同步技術,如:ogg,cdc,sqoop等,并有實際經驗
5.熟悉大數據大數據性能優(yōu)化,并有實際項目經驗
6.熟悉apache mahout/spark mlib的各種算法
7.精通java,熟練掌握mapreduce原理以及數據分析相關的二次開發(fā)
8.熟悉linux/unix,熟悉perl/python/shell等腳本開發(fā)語言
9.了解敏捷開發(fā)流程,有敏捷開發(fā)經驗者優(yōu)先
10.良好的數據結構和算法基礎,有較強的算法設計和實現(xiàn)能力
11.本科以上學歷,計算機及相關專業(yè)
hadoop崗位職責15
職責描述:
1,基于hadoop進行mapreduce、hive和hbase的應用開發(fā);
2,維護和管理大規(guī)模hadoop集群,解決不斷增長的海量數據帶來的存儲和計算挑戰(zhàn);
3,大數據平臺數據清洗、轉換和建模的.開發(fā)。
任職要求:
1,熟悉hadoop/hbase/spark/hive生態(tài)環(huán)境體系的搭建和管理,掌握hadoop、hbase、mapreduce、hdfs、hive、kylin、zookeeper等開源項目的原理和使用方法,具有實際集群搭建和調優(yōu)經驗;
2,熟悉并有java開發(fā)經驗,有大平臺架構開發(fā)經驗;
3,掌握至少一種nosql數據庫,具有真正項目使用經驗;
4,掌握數據分析的基本流程,擅長數據采集、清洗、分析等環(huán)節(jié);
5,熟悉后端服務(restful api服務實現(xiàn))優(yōu)先;
6,熟悉使用sqlserver、oracle、mysql一種;
7,良好團隊協(xié)作和溝通能力;
8,大專及以上學歷,3-5年及以上工作經驗。
hadoop崗位職責16
職責
搭建和維護hadoop數據分析平臺
協(xié)助研究r與hadoop結合實施大數據挖掘
依據分析挖掘方案,建立模型、生成分析結果、統(tǒng)計表、圖和列表等的程序代碼。
協(xié)助項目團隊負責人履行項目職責。
能力和技能
熟悉linux操作系統(tǒng)、java、hadoop的運營及算法。
具備基本的統(tǒng)計編程知識,例如r、base sas、sas/stat、sas宏語言、sql。
具備一定的溝通能力。
具備有效處理多任務的能力。
具備一定的`計算能力及發(fā)現(xiàn)細節(jié)的能力。
具備團隊合作能力。
學歷和經驗要求:
計算機、數學專業(yè)學士學歷及以上,或同等教育背景并具有統(tǒng)計編程經驗;有hadoop運營經驗、hadoop算法經驗者優(yōu)先。
hadoop崗位職責17
職位描述:
1.計算機及計算機相關專業(yè)本科或本科以上學歷;
2.十年以上開發(fā)工作經驗;
3.精通java編程,熟練掌握spring cloud、spring boot、spring framework、spring security、spring mvc、spring data、mybatis、hibernate、zookeeper等主流的開發(fā)框架,有良好的.編程習慣。
4.精通大數據hadoop、spark、hbase、hive、kafka等產品技術及應用開發(fā)。
5.精通多線程編程、分布式事務、存儲系統(tǒng)(如oracle、mongodb、redis等)的性能調優(yōu)和應用開發(fā);
6.具備優(yōu)秀的邏輯思維能力,對解決挑戰(zhàn)性問題充滿熱情,善于解決問題和分析問題;
7.有強烈的上進心和求知欲,善于學習新事物,良好的團隊合作精神,較強的溝通能力和學習能力。
hadoop崗位職責18
工作職責:
1、參與打造業(yè)界領先的存儲、計算、消息隊列等分布式系統(tǒng)
2、為海量數據及其上的大規(guī)模數據挖掘、數據分析、機器學習業(yè)務系統(tǒng)提供可靠、高效的支持
3、深入了解業(yè)務需求,利用存儲技術支持關鍵業(yè)務場景
任職要求:
1、掌握分布式系統(tǒng)原理,對存儲、計算、消息隊列的`一項或多項有深入的理解和認識
2、樂于挑戰(zhàn)沒有明顯答案的問題,能快速理解業(yè)務場景,從具體問題中抽象出通用的解決方案
3、有較好的溝通能力;有良好的團隊合作精神
【hadoop崗位職責】相關文章:
Hadoop運維工程師崗位職責02-10
Hadoop就業(yè)前景薪資如何05-16
基于Hadoop分布式文件系統(tǒng)的單點問題的研究論文04-27
值班崗位職責-崗位職責07-25
倉管員的崗位職責-崗位職責01-15
it部經理崗位職責-崗位職責07-25
物業(yè)班長崗位職責-崗位職責11-03
庫管崗位職責-崗位職責01-10
渠道銷售崗位職責-崗位職責01-10