大数据架构师岗位的主要职责概述 篇1
职责：
根据大数据业务需求，设计大数据方案及架构，实现相关功能;
搭建和维护大数据集群，保证集群规模持续、稳定、高效平稳运行;
负责大数据业务的设计和指导具体开发工作;
负责公司产品研发过程中的数据及存储设计;
针对数据分析工作，能够完成和指导负责业务数据建模。
职位要求：
计算机、自动化或相关专业(如统计学、数学)本科以上学历，3年以上大数据处理相关工作经验;
精通大数据主流框架(如 Hadoop、hive、Spark等);
熟悉 MySQL、NoSQL(MongoDB、Redis)等主流数据库，以及rabbit MQ等队列技术;
熟悉hadoop/spark生态的原理、特性且有实战开发经验;
熟悉常用的数据挖掘算法优先.
大数据架构师岗位的主要职责概述 篇2
职责：
1、负责大数据平台及BI系统框架设计、规划、技术选型，架构设计并完成系统基础服务的开发;
2、负责海量埋点规则、SDK标准化、埋点数据采集、处理及存储，业务数据分布存储、流式/实时计算等应用层架构搭建及核心代码实现;
3、开发大数据平台的核心代码，项目敏捷开发流程管理，完成系统调试、集成与实施，对每个项目周期技术难题的解决，保证大数据产品的上线运行;
4、负责大数据平台的架构优化，代码评审，并根据业务需求持续优化数据架构，保证产品的可靠性、稳定性;
5、指导开发人员完成数据模型规划建设,分析模型构建及分析呈现，分享技术经验;
6、有效制定各种突发性研发技术故障的应对预案，有清晰的隐患意识;
7、深入研究大数据相关技术和产品，跟进业界先进技术;
【任职要求】
1、统计学、应用数学或计算机相关专业大学本科以上学历;
2、熟悉互联网移动端埋点方法(点击和浏览等行为埋点)，无埋点方案等，有埋点SDK独立开发经验者优选;
3、熟悉Hadoop,MR/MapReduce,Hdfs,Hbase,Redis,Storm,Python,zookeeper,kafka,flinkHadoop,hive,mahout,flume,ElasticSearch,KafkaPython等，具备实际项目设计及开发经验;
4、熟悉数据采集、数据清洗、分析和建模工作相关技术细节及流程
5、熟悉Liunx/Unix操作系统，能熟练使用shell/perl等脚本语言，熟练掌握java/python/go/C++中一种或多种编程语言
6、具备一定的算法能力，了解机器学习/深度学习算法工具使用，有主流大数据计算组件开发和使用经验者优先
7、熟悉大数据可视化工具Tableau/echarts
8、具有较强的执行力，高度的责任感、很强的学习、沟通能力，能够在高压下高效工作;
大数据架构师岗位的主要职责概述 篇3
职责：
1、大数据平台架构规划与设计;
2、负责大数据平台技术框架的选型与技术难点攻关;
3、能够独立进行行业大数据应用的整体技术框架、业务框架和系统架构设计和调优等工作，根据系统的业务需求，能够指导开发团队完成实施工作;
4、负责数据基础架构和数据处理体系的升级和优化，不断提升系统的稳定性和效率，为相关的业务提供大数据底层平台的支持和保证;
5、培养和建立大数据团队，对团队进行技术指导。
任职要求：
1、计算机相关专业的背景专业一类院校毕业本科、硕士学位，8年(硕士5年)以上工作经验(至少拥有3年以上大数据项目或产品架构经验);
2、精通Java，J2EE 相关技术，精通常见开源框架的架构，精通关系数据库系统(Oracle MySQL等)和noSQL数据存储系统的原理和架构;
3、精通SQL和Mapreduce、Spark处理方法;
4、精通大数据系统架构，熟悉业界数据仓库建模方法及新的建模方法的发展，有DW，BI架构体系的专项建设经验;
5、对大数据体系有深入认识，熟悉Kafka、Hadoop、Hive、HBase、Spark、Storm、greenplum、ES、Redis等大数据技术，并能设计相关数据模型;
6、很强的学习、分析和解决问题能力，可以迅速掌握业务逻辑并转化为技术方案，能独立撰写项目解决方案、项目技术文档;
7、具有较强的内外沟通能力，良好的团队意识和协作精神;
8、机器学习技术、数据挖掘、人工智能经验丰富者优先考虑;
9、 具有能源电力行业工作经验者优先。
大数据架构师岗位的主要职责概述 篇4
职责：
1. 负责产品级业务系统架构(如业务数据对象识别，数据实体、数据属性分析，数据标准、端到端数据流等)的设计与优化。协助推动跨领域重大数据问题的分析、定位、解决方案设计，从架构设计上保障系统高性能、高可用性、高安全性、高时效性、分布式扩展性，并对系统质量负责。
2.负责云数据平台的架构设计和数据处理体系的优化，推动云数据平台建设和持续升级，并制定云数据平台调用约束和规范。
3. 结合行业应用的需求负责数据流各环节上的方案选型，主导云数据平台建设，参与核心代码编写、审查;数据的统计逻辑回归算法、实时交互分析;数据可视化方案等等的选型、部署、集成融合等等。
4. 对云数据平台的关注业内技术动态，持续推动平台技术架构升级，以满足公司不同阶段的数据需求。
任职要求：
1. 熟悉云计算基础平台，包括 Linux(Ubuntu/CentOS)和 KVM、OpenStack/K8S 等基础环境，熟悉控制、计算、存储和网络;
2. 掌握大型分布式系统的技术栈，如：CDN、负载均衡、服务化/异步化、分布式缓存、NoSQL、数据库垂直及水平扩容;熟悉大数据应用端到端的相关高性能产品。
3. 精通 Java，Python，Shell 编程语言，精通 SQL、NoSQL 等数据库增删改查的操作优化;
4. PB 级别实战数据平台和生产环境的实施、开发和管理经验;
5. 熟悉 Docker 等容器的编排封装，熟悉微服务的开发和日常调度;
6.计算机、软件、电子信息及通信等相关专业本科以上学历，5 年以上软件工程开发经验，2 年以上大数据架构师工作经验。
大数据架构师岗位的主要职责概述 篇5
职责：
1.参与公司数据平台系统规划和架构工作，主导系统的架构设计和项目实施，确保项目质量和关键性能指标达成;
2.统筹和推进制造工厂内部数据系统的构建，搭建不同来源数据之间的逻辑关系，能够为公司运营诊断、运营效率提升提供数据支持;
3.负责数据系统需求对接、各信息化系统数据对接、软件供应商管理工作
5.根据现状制定总体的数据治理方案及数据体系建立，包括数据采集、接入、分类、开发标准和规范，制定全链路数据治理方案;深入挖掘公司数据业务，超强的数据业务感知力，挖掘数据价值，推动数据变现场景的落地，为决策及业务赋能;
6.定义不同的数据应用场景，推动公司的数据可视化工作，提升公司数据分析效率和数据价值转化。
任职要求：
1.本科以上学历，8年以上软件行业从业经验，5年以上大数据架构设计经验，熟悉BI平台、大数据系统相关技术架构及技术标准;
2.熟悉数据仓库、熟悉数据集市，了解数据挖掘、数据抽取、数据清洗、数据建模相关技术;
3.熟悉大数据相关技术：Hadoop、Hive、Hbase、Storm、Flink、Spark、Kafka、RabbitMQ;
4.熟悉制造企业信息化系统及相关数据库技术;
5.具备大数据平台、计算存储平台、可视化开发平台经验，具有制造企业大数据系统项目开发或实施经验优先;
6.对数据敏感，具备优秀的业务需求分析和报告展示能力，具备制造企业数据分析和数据洞察、大数据系统的架构设计能力，了解主流的报表工具或新兴的前端报表工具;
7.有较强的沟通和组织协调能力，具备结果导向思维，有相关项目管理经验优先。
大数据架构师岗位的主要职责概述 篇6
职责：
1、负责面向政府信领域的企业(不限于)大数据平台、大数据应用等系统的架构设计、技术规划、技术选型
2、跟进业界大数据技术发展动态，匹配行业应用诉求，制定大数据策略，提前识别关键技术并完成技术验证;
3、支撑售前完成项目解决方案技术架构的设计及重要客户的交流;
4、负责指导研发完成大数据产品的开发
5、带领团队进行产品核心技术的创新和积累
岗位要求：
1、熟悉BI和大数据领域的解决方案，具备该领域全面的技术积累，包括报表平台，OLAP引擎和DB，ETL，数据仓库建模和设计，海量分布式数据处理分析架构;
2、在大数据处理和分析领域具有3年或者以上的技术规划、架构设计经验，并有成功的项目实践;
3、4年以上Hadoop实战经验，熟悉Hadoop底层文件系统及分布式计算框架，具备传统数据仓库、MPP、Hadoop等混搭平台架构的设计能力和数据建模能力，对大规模数据并行计算、传输、处理等有丰富的经验;
4、有实际应用storm、spark、flume、kafka等项目经验优先;
5、卓越的技术领导力，善于沟通、发现和解决产品需求阶段、开发阶段和测试阶段的问题，并能提供合理解决方案，有大中型互联网企业工作背景优先。
大数据架构师岗位的主要职责概述 篇7
职责：
负责公司大数据产品架构的设计与实现;
配合大数据产品经理完成产品的快速研发与交付;
负责大数据产品架构的持续优化设计;
负责大数据产品核心组件设计;
负责大数据相关数据架构规划、数据建模、数据库设计以及大数据产品研发工作;
为应用开发团队提供技术支撑。
任职要求：
本科及以上学历，3年以上的大数据开发经验、
2年以上大数据架构设计经验;
丰富的JAVA研发经验，精通JAVA，熟悉Python Scala等编程语言;具备深厚的分布式系统或数据库系统的理论基础，熟悉分布式计算系统的工作机制，具有分布式文件系统、分布式数据库系统、集群存储系统等架构设计经验;
熟悉整个大数据的完整处理流程(数据的采集、清洗、预处理、存储、分析挖掘、机器学习和数据可视化);
精通各种大数据相关技术体系：Hadoop、Spark、Storm、ElasticSearch、Kafka;
有数据挖掘、机器学习相关应用或研究背景;
沟通能力较好，积极主动意识较强，责任心较强。
大数据架构师岗位的主要职责概述 篇8
职责：
(1) 负责公司大数据平台搭建，相关的设计和技术开发工作，负责大数据存储系统、分布式计算系统、数据集成、挖掘算法等的设计、研发以及维护、优化工作;
(2) 通过数据分析技术，挖掘有利于营销中各业务场景的变量或规则类标签，以提升模型效果，为文旅、教育业务提供数学模型理论及编程支撑;
(3) 对接沟通业务系统研发团队和产品部门，提供数据驱动方面的专业咨询方案，并对业务的大数据应用场景提出建设性意见;
(4) 配合部门领导进行项目需求分析、设计开发工作。
任职要求：
(1) 计算机、统计学，数学等相关专业本科以上学历，5年以上大数据或文旅、教育数据产品设计开发经验，高效高质量产出需求和技术文档;
(2) 精通Hadoop，熟悉大数据生态技术，如Storm、Spark、Scala、Flume、Kafka、Zookeeper、Hive、Hbase、Kerberos等，有大规模集群架构、开发及运维经验;熟悉HDFS/MapReduce等;
(3) 熟悉Java，能够独立应用python、R、SAS或类似分析工具进行数据分析;
(4) 熟悉大数据挖掘、可视化分析，各种BI算法和产品等，在计算广告、搜索引擎、推荐系统、用户画像等有一个或多个算法领域的研发经验，能够运用数据作为产品解决业务方运营及决策问题;
(5) 有互联网行业工作经验者优先，有海量数据的机器学习算法实践经验优先;
(6) 工作认真、负责，有良好的团队合作精神，良好的分析能力、沟通技巧。
大数据架构师岗位的主要职责概述 篇9
职责：
1、负责相关开源系统/组件的性能、稳定性、可靠性等方面的深度优化;
2、负责解决项目上线后生产环境的各种实际问题，保障大数据平台在生产上的安全、平稳运行;
3、推动优化跨部门的业务流程， 参与业务部门的技术方案设计、评审、指导;
4、负责技术团队人员培训、人员成长指导。
5、应项目要求本月办公地址在锦江区金石路316号新希望中鼎国际办公，月底项目结束后在总部公司办公
任职要求：
1、熟悉linux、JVM底层原理，能作为技术担当，解决核心技术问题;
2、3年以上大数据平台项目架构或开发经验，对大数据生态技术体系有全面了解，如Yarn、Spark、HBase、Hive、Elasticsearch、Kafka、PrestoDB、Phoenix等;
3、掌握git、maven、gradle、junit等工具和实践， 注重文档管理、注重工程规范优先;
4、熟悉Java后台开发体系，具备微服务架构的项目实施经验，有Dubbo/Spring cloud微服务架构设计经验优先;
5、性格开朗、善于沟通，有极强的技术敏感性和自我驱动学习能力，注重团队意识。
大数据架构师岗位的主要职责概述 篇10
职责
1、负责公司大数据平台的整体架构设计，包含数据收集、数据存储、数据挖掘、数据输出;
2、负责规划从数据源到数据应用的整体流程，并参与用户产品和数据产品的决策;
3、负责海量数据分析、用户行为分析，构建用户数据模型;
4、负责解决核心技术问题，对技术方案进行决策;
5、技术团队管理。
6、熟悉手机IOS、安卓系统APP开发
任职资格
1、计算机相关专业毕业，本科以上学历;
2、5年以上相关工作经验，具备软件产品架构设计经验，熟练掌握高性能、高扩展性架构设计方法;
3、熟练掌握java或c++任意一门语言、熟悉linux操作系统;
4、熟悉Hadoop/MR/Hbase/Mahout/Spark等大数据技术，并能够基于上述项目开发大数据相关应用;
5、熟悉基本数据挖掘方法和技术;
6、强烈的敬业精神，良好的沟通与协调能力，能有效组织协调团队完成各类开发工作;
7、热爱技术，相信数据的价值，对大数据有深刻的理解。
大数据架构师岗位的主要职责概述 篇11
职责：
1.负责数据仓库建设，基于数据驱动构建企业级数据模型，根据架构设计进行各层数据模型开发。
2.面向PB级别超大规模数据处理和查询需求，设计适合业务变化的合理的多维数据分析系统架构，满足多样性需求。
3.构建设计良好的数据流、调度系统、查询引擎、监控系统，保证系统稳定高效运行，以实现数据的最大价值。
4.指导团队成员开展数据仓库建设。
5.参与重点项目的评审，参与企业数据管理体系建设。
任职要求：
1.统招本科及以上学历。
2.从事数据仓库领域至少5年以上，熟悉数据仓库模型设计与ETL开发经验 ，掌握Kimball的维度建模设计方法，具备海量数据加工处理(ETL)相关经验 。
3.具有一定数据模型和数据架构基础，熟悉hadoophive和常用数据库。
4. 精通SQL，有一定的SQL性能调优经验，熟悉hive sql的开发。
5.具有管理团队开发经验，具备良好的组织能力、协调能力及项目管理能力。
6.具有较好的文字功底及语言表达能力，能够快速、准确地理解需求。
7.具有专研、快速学习和创新精神，具备独立分析问题和解决问题的能力。
8.具有责任心，时间观念强，工作独立性强，有良好的团队合作精神。
9.全日制普通本科毕业。
大数据架构师岗位的主要职责概述 篇12
职责：
1、负责大数据平台架构的规划与设计;
2、负责大数据平台技术框架的选型与技术难点攻关;
3、参与企业级大数据产品和应用规划;
4、研究跟进大数据架构领域新技术并分享;
5、大数据处理和分析应用平台的设计指导。
任职资格：
1、 具备深厚的分布式系统或数据库系统的理论基础，熟悉分布式计算系统的工作机制，具有分布式文件系统、分布式数据库系统、集群存储系统等架构设计经验;
2、熟悉BI平台架构及相关项目标准，大数据解决方案包括Hadoop、Spark、Storm、机器学习等大数据平台解决方案;
3、熟悉MySql/Postgresql/Oracle/MongoDB/Redis等主流数据数据库;
4、 精通Linux/Unix环境，精通J java、scala、python、R中的一种或多种语言;
5、 具备优秀的团队意识和沟通能力，学习能力和主动性强，具有钻研精神，充满激情，乐于接受挑战;
6、大专及以上学历，3年及以上工作经验。
大数据架构师岗位的主要职责概述 篇13
职责：
负责大数据平台的规划和搭建、完成大数据平台的日常运营工作，为数据分析和展现提供支持;
对系统框架相关技术和业务进行培训，并负责核心代码编写，指导团队开发及解决出现的系统问题;
参与基于大数据平台的创新业务场景进行数据产品的架构设计，负责数据产品的研发交付;
负责处理大数据平台的疑难问题，为数据团队提供可靠的技术支持;
负责数据质量、稳定性等数据管理，数据内部共享融通的数据平台，让数据标准更规范、数据获取更高效;
及时跟进大数据领域新技术并分享，提升团队技术能力。
任职要求：
本科或以上学历，5年以上数据系统建设经验，3年以上大数据架构设计经验;
精通 java，python，scala 等一种大数据开发语言，熟悉Hadoop生态圈，包括但不限于hdfs，hive，spark， 有丰富的大数据项目的实践经验;
具备创新精神，条理清晰，沟通表达和逻辑思维能力强;
熟悉数据仓库的设计和开发，对数据架构有深入的了解和具备相关的项目实践经验优先;
对SQL on Hadoop 的开源查询引擎(如Presto、 Apache Drill ) 原理有深入研究优先;
有敏捷大数据和数据可视化实践经验优先。
大数据架构师岗位的主要职责概述 篇14
职责:
1、从事电信行业大数据项目相关业务调研、产品标准建设、核心模型设计和优化、系统测试等相关工作
2、与数据专业委员会一起研究数据建模方案和建模工具，负责产品线产品的数据架构、数据模型设计
3、参与研究数据库之间的数据转换方式，参与项目中的数据移植工作，收集在项目中的数据移植经验，优化产品的数据模型
4、负责培训本部门队伍的数据模型基础理论工作，建立数据模型团队
岗位要求：
1、统招本科学历，3年以上主流数据上(DB2、Oracle、SQLServer、Mysql等)ETL设计、开发经验，具备大型数据仓库逻辑模型和物理模型设计经验，精通SQL，有较好的SQL性能调优经验;
2、拥有Python，R等数学建模工具的使用经验，并具备一定的数据处理和建模经验，可以输出相应的模型分析结果、模型比较、模型效率以及对模型的理论和判断依据方法并对其进行完整的解释和说明;
3、熟悉统计学基本原理，做过实战的数据建模项目;
4、有分布式数据仓库建设相关经验者优先，具备电信行业数据仓库建设相关经验者优先;
大数据架构师岗位的主要职责概述 篇15
职责：
1、负责大数据基础平台、海量数据存储处理分布式平台、数据分析系统架构设计和研发;
2、负责实时计算平台基础架构设计、部署、监控、优化升级;
3、制定项目数据仓库设计及实现规范，指导设计研发和部署;
4、协助策略和算法团队工作，保障数据挖掘建模和工程化;
5、深入研究大数据相关技术和产品，跟进业界先进技术。
任职要求：
1、3年以上大数据系统架构经验;
2、精通Hadoop HBase Hive Spark Flink Kafka Redis技术及其生态圈;
3、具备Java Scala Python等开发经验，熟悉数据挖掘和分析的策略与算法;
4、精通数据抽取，海量数据传输，数据清洗的常用方法和工具。
5、具备良好的系统分析能力、故障诊断能力;
6、有大数据策略、算法、可视化经验优先;
7、有在华为云存储产品和大数据产品的开发使用经验优先。
大数据架构师岗位的主要职责概述 篇16
职责：
1、负责规划大数据平台及应用产品的需求和技术方案设计;
2、负责数据对接和对外服务设计、开发和维护，并能保证质量和性能;
3、负责基于大数据平台的应用设计、开发和维护;
4、能从系统全局和各子系统的角度思考可能存在的问题，并提出改进方案建议;
任职要求：
1、大学本科6年以上工作经验，计算机相关专业。
2、至少4年以上的Java开发经验，3年以上大数据应用系统的开发和设计经验。
3、熟悉Hadoop生态圈技术体系， 对离线计算、内存计算和流式计算均有深刻理解， 如Hadoop、Storm、Spark三个中的任意二个， 能进行平台和组件优化。
4、精通Hive、HBase仓库设计，深刻理解MR运行原理和机制，能进行以提供高任务执行效率的优化。
5、精通Java开发，熟悉JVM调优， 对GC有深刻理解。
6、熟悉Linux、Shell、Kafka、Oracle、Mysql、Redis等相关技术， 能进行hbase可靠性诊断和维护。
7、快速研究和学习技术能力。
大数据架构师岗位的主要职责概述 篇17
职责：
1、 基于公司大数据基础和数据资产积累，负责大数据应用整体技术架构的设计、优化，建设大数据能力开放平台;负责大数据应用产品的架构设计、技术把控工作。
2、 负责制定大数据应用系统的数据安全管控体系和数据使用规范。
3、 作为大数据技术方案到产品实现的技术负责人，负责关键技术点攻坚工作，负责内部技术推广、培训及知识转移工作。
4、 负责大数据系统研发项目任务规划、整体进度、风险把控，有效协同团队成员并组织跨团队技术协作，保证项目质量与进度。
5、 负责提升产品技术团队的技术影响力，针对新人、普通开发人员进行有效辅导，帮助其快速成长。
任职资格：
1、 计算机、数学或相关专业本科以上学历，5-20xx年工作经验，具有大型系统的技术架构应用架构数据架构相关的实践工作经验。
2、 有分布式系统分析及架构设计经验，熟悉基于计算集群的软件系统架构和实施经验。
3、 掌握Hadoop/Spark/Storm生态圈的主流技术及产品，深入了解Hadoop/Spark/Storm生态圈产品的工作原理及应用场景。
4、 掌握Mysql/Oracle等常用关系型数据库，能够对SQL进行优化。
5、 熟悉分布式系统基础设施中常用的技术，如缓存(Varnish、Memcache、Redis)、消息中间件(Rabbit MQ、Active MQ、Kafka、NSQ)等;有实践经验者优先。
6、 熟悉Linux，Java基础扎实，至少3-5年以上Java应用开发经验，熟悉常用的设计模式和开源框架。
大数据架构师岗位的主要职责概述 篇18
职责：
1)负责大数据平台系统架构设计、核心开发工作(Hadoop&Spark技术方向)，基于业务场景设计最优的系统解决方案。
2)构架支持大数量级的数据的大数据平台系统，及相关监控，拓展系统设计及实现。
3)利用Hadoop、Spark等大数据技术对海量数据进行处理，支持BI和数据科学(建模)的应用实现。
4)对现有系统的进行架构深入分析及系统优化，进一步提升系统的性能及数据处理能力。
任职资格
1)统招本科或以上学历，计算机相关专业， 5年以上软件开发经验、3年以上大数据项目经验。
2)具备较丰富的大数据平台相关构建，维护及调优经验，有大数据量级下的大数据集市相关经验。
3)具备较丰富的基于Hadoop或Hive或Spark等大数据处理项目经验，具备一定的数据挖掘经验。
4) 具有阿里云的EMR(emapreduce)的经验者优先考虑。
5)具有良好的业务理解、沟通和协作能力，具有较强的学习和总结能力。
6)优秀的团队合作精神、诚实、勤奋、严谨，敢于接受挑战。
7)机器学习技术、数据挖掘经验丰富者优先考虑。
大数据架构师岗位的主要职责概述 篇19
职责：
1. 负责大数据基础平台、海量数据存储/处理分布式平台、数据分析系统架构设计和研发;
2. 负责实时计算平台基础架构设计、部署、监控、优化升级;
3. 制定项目/数据仓库设计及实现规范，指导设计研发和部署;
4. 协助策略和算法团队工作，保障数据挖掘建模和工程化;
5. 深入研究大数据相关技术和产品，跟进业界先进技术。
任职要求：
1. 全日制本科及以上学历，5年以上软件和分布式系统研发经验，3年以上大数据系统架构经验;
2. 精通Hadoop/HBase/Spark/Storm/Redis技术及其生态圈;
3. 具备Java/C++/Scala等开发经验，熟悉数据挖掘和分析的策略与算法;
4. 具备良好的系统分析能力、故障诊断能力;
5. 有大数据策略、算法、可视化经验优先;
6、211/985 重点学校毕业优先。