Apache Kylin | 八月社区回顾

Author
Apache Kylin
2020年 9月 05日

Kylin 用户大家好呀 🙂

转眼间八月份又过去了,我们在这里想和大家更新一下八月的开发进度,以下是 Kylin 社区八月的主要工作内容:


产品动态

Apache Kylin 4.0.0 - alpha 进展

本月,我们的重点工作内容还是 Kylin4.0 发布前的准备工作,包括文档的补充,技术文章,bug 修复,回归测试等等。我们通过 JIRA 来追踪开发进度。


Kylin 文档更新 User Manual 4.0

详情请见链接:https://cwiki.apache.org/confluence/display/KYLIN/User+Manual+4.X

  1. 补充了 Kylin 4.0 新增配置项的说明:Configuration Kylin 4.X

  2. Restful API 接口说明:Rest API

  3. 常见问题及相关解答:FAQ Kylin 4.X CN

  4. 关键特性的介绍和使用指导,包括 shard by 配置,查询 spark pool 隔离和读写分离,详细内容请见 How to

  5. 关键功能的技术文章,包括全局字典的设计和实现,自动调参,架构设计和接口设计等,详细内容请见 Technical Articles


Apache Kylin 4.0 的测试和修复

  1. 为查询引擎补充 Metrics 信息,包括扫描文件数量,经由 Spark 处理的时间等,详情见:
    KYLIN-4722 - Add more statistics to the query results. [Resolved]

  2. 启动 Kylin 的时候启动查询的 Spark Application,之前默认为懒加载,详情见:
    KYLIN-4695 - Automatically start sparder (for query) application when start kylin instance. [Resolved]

  3. 改造 StorageCleanupJob,使之适应新的 Parquet 存储,详情见:
    KYLIN-4698- Delete segment storage path after merging segment, deleting segment and droping cube. [Resolved]

  4. Shard by 列支持 Cube 级别的配置,详情见:
    Kylin 4723 - Set the configurations about shard by to cube level. [Resolved]

  5. 对于 Kylin 4 前端做了适配,详情见:
    Kylin 4701 - Upgrade front-end from HBase Storage to Parquet Storage. [Resolved]


对接社区版 Spark (Apache Spark)

在早期我们针对 Spark 做了优化导致,Kylin 4.0 不支持社区版 Spark,但是目前 Kylin 4.0 已经能够对接 Apache Spark 2.4.6,同时也有部分限制,未来可能也会考虑支持 Spark 3.0,详情见:Kylin 4662 - Migrate from third-party Spark to official Apache Spark. [Resolved]


下步计划

Kylin 4 的第一个技术预览版本 Kylin 4.0.0-alpha 将于 9 月发布。

Kylin 3.1.0 的 bugfix 版本 3.1.1 计划于 9 或 10 月发布。


社区动态

入驻 B 站

The rumors are true! 我们很高兴地宣布, Kylin 视频分享正式入驻 B 站啦~

来看看 Kylin PMC 史少锋先生给我们和各位社区用户的寄语吧:

https://www.bilibili.com/video/BV1A54y1v7mr


另外,我们也已经上传了一些其他干货视频,包括 Kylin 新特性介绍,教学,案例分享和 Meetup 回顾等等,比如来自我们 Kylin 社区的 Contributor 王汝鹏的分享:

https://www.bilibili.com/video/BV1up4y1e7Y2


欢迎大家来关注我们的官方账号哦~ 当然,如果各位社区朋友们对视频有任何建议或想要了解的内容,请在留言区尽情提出!


8.29 Kylin Meetup - 来聊聊云原生

8 月 29 日,我们请到了微软和 Kyligence 的讲师在 Apache Kylin 直播间与大家分享了「在云上进行数据分析的挑战和实践」和「大数据分析:从 Hadoop 到云原生」,感谢大家的热情参与和互动,两场演讲的回顾视频也将于近期在 Kyligence 官方 B 站账号发出,敬请期待~


精选博客


加入社区

如果想要参与社区讨论或遇到疑问,请发送邮件至 Apache Kylin User 或 Developer 邮件列表:

  • user@kylin.apache.org
  • dev@kylin.apache.org

注意:该邮件列表需要订阅才能使用。如未订阅该邮件列表,请先发送邮件至 user-subscribe@kylin.apache.org 或 dev-subscribe@kylin.apache.org,并回复确认完成订阅。


点击此处了解更多关于 Apache Kylin 4.0 的开发进度~



想第一时间获得 Apache Kylin 资讯,请扫二维码,关注 Apache Kylin 官方微信公众号。