查看原文
其他

开源界的盛会来啦!要错过了解腾讯Apache生态最佳实践的机会吗?

腾小源 腾源会 2022-04-23


8月,一场盛夏的技术盛宴将要来啦!这就是ApacheCon Asia。作为开源界备受关注的会议之一,今年大会将持续3天,开设14+分论坛,内容覆盖从大数据到搜索再到消息队列等数十个不同类别。

作为多个Apache项目的活跃贡献者,以及国内首家Apache白金会员,腾讯与Apache社区进行了深入的合作,并推动Apache基金会在开源领域的创新。目前,除了在Hadoop、Spark等众多项目中担任Committer外,腾讯的内部团队还基于Apache中的如InLong、Ozone、Pulsar等项目实现了对业务的支撑和赋能,并形成了一套最佳实践。

在本届ApacheCon Asia上,来自腾讯的多位工程师(他们同时也是这些开源项目的PMC或Committer)将分享腾讯如何更好地应用开源项目来加速技术架构的迭代创新,使业务始终获得高性能。

关于本次大会腾讯分享议程如下,感兴趣的朋友们可「点击原文」进入ApacheCon官网,线上观看本次内容!


演讲一

Apache InLong,一个一站式流数据集成解决方案


演讲时间:2021-08-07 16:50  #BIGDATA 分会场

演讲摘要:在大数据场景下,从零开始构建一个完整的数据流服务平台是非常耗时的,而且很难提供快速、稳定的服务。Apache InLong是一个一站式的流数据集成解决方案,它提供了发布和订阅流数据的功能,基于这个系统,可以轻松构建基于流数据的分析和应用。


讲师简介:
  • goson Zhang,Apache InLong项目PPMC,现任职于腾讯数据平台部的数据存储组。

  • leobiaoliu,现任职于腾讯数据平台部的实时计算组。


演讲二

Apache Ozone 如何通过 Raft 协议建立起高可用性


演讲时间:2021-08-07 14:50  #BIGDATA 分会场

演讲摘要:Apache Ozone是Hadoop的一个可扩展的、冗余的、分布式的对象存储,在2020年成为Apache顶级项目。作为Apache Ozone的早期采用者,腾讯大数据平台已经部署了一个超过1000个节点的Ozone集群作为大数据应用的后台存储。此外,腾讯还利用Ozone作为一些私人数据仓库项目的主要存储解决方案。由于Ozone被大量使用,其高可用性被列为生产中支持的首要任务。2020年,腾讯工程师与Cloudera工程师合作,在Apache Ratis(Raft实现)的帮助下,为SCM(存储容器管理器)实施Ozone HA。

听众收益:
  • 为了保持高可用性,Ozone SCM必须做到什么程度的复杂性。

  • 为什么Ozone决定使用Raft方案来实现单片机HA。

  • Ozone团队如何使用Raft和Java反射来复制整个SCM组的数据。

  • Ozone团队如何优化启用HA后的单片机性能。


讲师简介:
  • Li Cheng,现任高级工程师,负责腾讯云COS的大数据存储。曾在AWS S3和华为存储团队工作。同时也活跃在开源社区。目前是Apache Ozone PMC和Hadoop Committer。

  • Shashikant Banerjee,软件工程专家,在设计和构建可扩展和高性能的分布式存储系统方面拥有8年以上的经验。目前是Apache Hadoop、Apache Ozone和Apache Ratis社区的提交者和PMC成员。

  • Nanda Kumar,软件工程专家,在设计和构建可扩展的分布式存储系统方面有9年以上的经验。目前是Apache Hadoop和Apache Ozone社区的提交者和PMC成员。


演讲三

腾讯云HADOOP-COS上的数据湖加速器


演讲时间:2021-08-08 14:10 #BIGDATA 分会场

演讲摘要:
自从2019年COS作为腾讯云对象存储解决方案向Hadoop社区提交Hadoop Capatible FS plugic Hadoop-COS后,腾讯云就全速在腾讯COS上支持数据湖。2021年,腾讯COS用多层加速器GooseFS将Hadoop-COS武装起来,这不仅大大提升了COS在Hadoop生态中的性能,也让腾讯COS与大数据、AI平台的凝聚力更强。

听众收益:
  • GooseFS如何帮助腾讯云平台与EMR和K8s的凝聚力。

  • 新的Hadoop-COS带来的透亮的IO性能加速。

  • GooseFS如何加载命名空间级缓存和表级缓存。

  • 新Hadoop-COS带来的腾讯云存储的数据湖解决方案。


讲师简介:
Li Cheng,现任高级工程师,负责腾讯云COS的大数据存储。曾在AWS S3和华为存储团队工作。同时也活跃在开源社区。目前是Apache Ozone PMC和Hadoop Committer。

演讲四

Apache Pulsar在腾讯百万级TOPIC下的应用实践


演讲时间:2021-08-08 14:50 #Messaging 分会场

演讲摘要:
Apache Pulsar 作为下一代云原生分布式消息流平台,集消息、存储和函数式计算为一体,并采用存储与计算分离的架构。Apache Pulsar 目前在腾讯云内部已经成功支持大量数据和流量业务场景,本议题将分享腾讯云在 Apache Pulsar 百万量级 Topic 下最佳实践以及运维经验。

讲师简介:
冉小龙,Apache Pulsar committer、Apache pulsar-client-go 作者、Go Functions 作者、RoP Maintainer。2020年底加入腾讯,现负责腾讯云TDMQ的建设,致力于打造稳定、高效、可扩展的底层基础组件和服务。


演讲五
使用 Airflow 在 Kubernetes 进行数据处理


演讲时间:2021-08-08 14:50 #Workfloa Data Governance 分会场

演讲摘要:
1. 为什么我们用airflow+K8S
2. airflow oa/rbac/web
3. airflow运行在docker/docker-compose/k8s上
4. airflow kubernetes-operator
5. airflow k8s pod插件
6. airlfow更新友好
7. 在腾讯音乐的使用情况

讲师简介:
栾鹏,现任职于腾讯音乐数据中心,从事云原生机器学习平台和数据平台相关内容的建设。

演讲六

Apache Pulsar——云原生消息队列在腾讯云的实践


演讲时间:2021-08-08 14:10  #Messaging分会场


演讲摘要:

Apache Pulsar 目前在腾讯云上已大规模使用。但消息队列在云原生环境面临了诸多挑战,Pulsar 是一个更好的解决方案。本次演讲将介绍 Pulsar 在云原生环境上的一些实践经验,如:如何快速动态扩缩容,如何提升集群资源的利用率,集群形态等等。


讲师简介:

林琳,腾讯云高级工程师。Apache Pulsar Commiter,专注于中间件领域,对消息队列、微服务等方面有丰富的经验。2019年加入腾讯,现负责腾讯云TDMQ的建设,致力于打造稳定、高效、可扩展的底层基础组件与服务。



END


看了这么丰富的内容分享后你是否心动了呢?8月7日-8日,千万别错过这些精彩哦~快「点击原文」进入ApacheCon官网,预约好你的时间,线上观看本次内容吧!



欢迎关注「腾源会」公众号,期待你的「在看」哦~👇

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存