Apache Kylin | 七月社区回顾

Author
Apache Kylin
2020年 8月 06日

Kylin 用户大家好呀 🙂

2020 年一晃过去一半,转眼到了 8 月!我们想在「七月社区回顾」和大家更新一下刚刚过去的 7 月 Kylin 的开发进度和社区活动。


产品动态

Apache Kylin v3.1 版本发布后续

Apache Kylin PMC 在 2020 年 7 月 3 日宣布了 Apache Kylin v3.1.0 的发布!


更多详情参考:
Apache Kylin v 3.1.0 正式发布!


在之后的几周,我们陆续收到了社区用户的使用反馈和咨询,其中部分是关于新特性的一些疑问,例如 Hive Global Dictionary,更多详情参考:
Apache Kylin v3.1.0 重点功能推介


此外也有一些 bug 被陆续发现,我们会在下一个小版本进行陆续修复。


Apache Kylin 4.0 开发进展

7 月的大部分时间中,Apache Kylin 开发小组进行了 Apache Kylin 4.0 的开发工作, 我们通过 JIRA 来追踪开发进度。


主要进展包含以下:

1. 对于新版本的想法

大家或许已经了解到 Parquet Storage 的开发工作已经进行了一段时间,目前开发进度已经接近初步完成,Parquet Storage 计划于 Apache Kylin 4.0 发布,但目前仍有一些问题需要解决,开发工作仍然在 kylin-on-parquet-v2 分支上进行。


我们也在社区中收集了大家对 Apache Kylin 4.0 的意见并发起讨论组(欢迎大家继续在邮件组讨论~):https://lists.apache.org/thread.html/rfe09c3d2813ee2758e15ba70b168d334a8b680b4c066d7c2e9dbef63%40%3Cdev.kylin.apache.org%3E


关于是否需要保持对 HBase 存储引擎的兼容,以及何时将代码向主分支迁移等问题,经过社区讨论,我们初步计划在 Apache Kylin 4.0 去除 HBase 存储引擎。


2. 代码清理

Parquet Storage 的开发工作已经基本完成,由于重写了 Kylin 核心的查询和构建引擎,有一些旧引擎特有的特性不再支持,如果留下这些”死掉的”代码,将非常不利于代码的可读性, 我们正在逐步清理中, 目前已经完成清理工作的第一阶段。


3. 梳理新增配置项,测试 & 验证发生改变的文档

新的存储引擎和查询引擎引入了很多新的参数,并且改变了需要原有功能的使用方式,这部分需要补充新的使用文档和技术文章,目前在进行中的文档梳理包括:

  • 新的全局字典
  • 新的读写分离
  • 新的构建引擎
  • 新的查询引擎


4. 梳理测试 & 验证 Kylin 的核心功能

在目前的开发分支上,有一些已有的功能需要分阶段开发来逐步支持,例如 JDBC 数据源/Cube Planner,我们也在持续梳理和制定开发计划。详情可参考以下链接:

  • https://cwiki.apache.org/confluence/display/KYLIN/Kylin+4.X+Feature+List
  • https://cwiki.apache.org/confluence/display/KYLIN/FAQ+Kylin+4.X


5. 对接社区版本的 Spark

由于目前 Parquet Storage 依赖一个 fork 版本的 Spark,通过用户反馈,我们了解到部分用户希望支持官方的 Spark 版本,以满足其可以持续升级 Spark 和自定义开发 Spark 的需求,这个目前在进行中。


下步计划

8 月,Apache Kylin 开发小组的工作将主要集中在 Parquet Storage 的文档更新和撰写,以及测试验证工作。

另外,Apache Kylin v3.1.x 的 bugfix 版本计划于 9 月份发布。


社区动态

1. 718 Kylin Meetup 回顾
7 月 18 日,我们请到了 eBay 和爱奇艺的讲师在 Apache Kylin 直播间与大家分享了「Kylin on Kubernetes 在 eBay 的实践」和「Apache Kylin 在爱奇艺的实践」,感谢大家的热情参与和互动,两场演讲的回顾文章将于近期在公众号发出,敬请期待~


另外,没能参加 Meetup 的小伙伴也可使用此链接下载两场演讲的 PPT。


2. 精选博客


加入社区

如果想要参与社区讨论或遇到疑问,请发送邮件至 Apache Kylin User 或 Developer 邮件列表:

  • user@kylin.apache.org
  • dev@kylin.apache.org

注意:该邮件列表需要订阅才能使用。如未订阅该邮件列表,请先发送邮件至 user-subscribe@kylin.apache.org 或 dev-subscribe@kylin.apache.org,并回复确认完成订阅。


点击此处了解更多关于 Apache Kylin 4.0 的开发进度~



想第一时间获得 Apache Kylin 资讯,请扫二维码,关注 Apache Kylin 官方微信公众号。