Cognos连接KAP的入门指导

引言 在大数据分析解决方案中,用户通常需要通过商业智能(Business Intelligence)或数据可视化工具来进行数据分析,探索数据价值。Cognos是IBM旗下的应用广泛的商务智能软件,善于进行联机分析处理(OLAP) 。在大数据架构中,企业对OLAP分析的数据量、实效性、并发能力等方面提出了更高的要求,迫切需要面向下一代的可扩展的高性能OLAP分析平台,而Cognos 在查询性能、并发能力、权限管理等方面存在不足,因此越来越多的企业用户寻求基于大数据技术的解决方案。 Kyligence Analytics Platform (KAP)大数据智能分析平台是基于Apache Kylin的,在超大数据集上提供亚秒级分析能力的企业级数据仓库产品。KAP提供行业标准的ODBC驱动程序,无缝对接行业主流商业智能和数据可视化软件,提供交互式分析能力。 KAP可以作为Cognos标准数据源导入,无需用户重写原有应用,无需数据迁移,无需重新建模,KAP为Cognos用户带来透明的、高性能的、高并发的、可扩展的下一代数据引擎,是Cognos企业级用户实施基于Hadoop的下一代数据仓库时的最佳技术选择。 本文将就如何使用Cognos连接KAP进行报表分析做入门引导。 安装Kylin ODBC驱动 Cognos在windows上以通用ODBC的方式可以连接到KAP,首先用户需要在Cognos服务器所在的环境中安装Kylin ODBC驱动程序,具体流程请参考KAP手册的相关章节 (https://kyligence.gitbooks.io/kap-manual/content/zh-cn/driver/odbc.cn.html),为了得到更好的支持,请安装Kylin ODBC Driver v1.6 64 bit或更高版本。如果你安装有早前版本,请卸载后再重新安装。 创建本地DSN Kylin ODBC安装好后,需要在Cognos服务器所在环境配置一个本地DSN。打开Window上的ODBC数据源管理器(64位)创建一个DSN连接KAP。此处我们以KAP的样例数据集Learn_kylin为例。 创建一个Cognos数据源 DSN创建好后打开一个已有Cognos项目或者创建一个新项目。在本例中我们将创建一个新项目。 然后使用元数据向导创建新数据源。 在新建数据源向导第一步中输入数据源名称。 下一步选择ODBC作为连接类型。在隔离级别中,选择使用默认对象Gateway。

使用Kyligence Robot诊断Apache Kylin系统故障

作者:李栋 编辑:Sammi 众所周知,Apache Kylin 提供对PB规模数据集进行高速OLAP分析的能力,查询性能可以达到秒级甚至亚秒级,是Hadoop大数据生态圈的重要一员。但是,大数据系统大都架构复杂、组件耦合度高、使用场景多样,如果遇到系统故障,可能需要分析很多节点和服务的日志才能找到问题根源,Apache Kylin 也不例外。如何快速定位故障根源,并找到解决办法,就是本文讨论的话题。 关于系统故障 Apache Kylin中常见的故障一般是查询失败、构建Cube失败、界面操作报错、服务启动失败等等,这些异常往往给业务人员和运维人员带来或多或少的影响。想要解决问题,可能需要查看Kylin日志、Map Reduce日志、HBase日志等等。以构建Cube为例,任务的调度以及字典生成发生在Kylin节点,需要查看Kylin日志,而预计算过程是一个Map Reduce任务,需要查看Map Reduce的运行日志。 运维人员需要掌握所有日志的存放位置(如Kylin、Map Reduce等),并了解日志记录和异常报错的表述涵义,才能高效地定位问题和解决问题,这并不是一个容易的事情——而Kyligence Robot (KyBot) 擅长解决这一问题。 使用KyBot定位异常 Kyligence Robot (KyBot) 是为Apache Kylin及其商业版KAP提供在线诊断、优化及服务的平台。通过分析Apache Kylin的日志等信息,为用户提供可视化仪表盘、系统优化、故障排查、知识库等自助式服务。关于KyBot的使用可以参考文章[1]。 登录进入KyBot后,通过左侧菜单进入“故障”-“异常”仪表盘,即可看到整个系统的异常统计指标,如图1所示。 图 1 异常仪表盘 在图1中,A区域代表一个时间段内系统出现的异常个数,并按照元数据、构建、查询等模块进行了统计。右侧B区域代表每日的异常统计,帮助用户快速定位突变和变化趋势,定位不稳定的时间段。C区域列出了所有的异常明细,包含异常的发生时间、模块和报错信息,通过单击右侧按钮,还能快速查看异常所在的日志片段,如下图所示。 图

KAP完善国内领先券商大数据融合分析平台

上海跬智信息技术有限公司 摘要: 随着数据使用的不断深入,业务分析的不断完善,越来越多的数据需求开始爆发出来,传统的数据仓库已无法满足大数据量下的快速查询与分析响应。如何减轻IT人员的数据处理工作,提高大数据分析的响应时间与工作效率,甚至让用户可以自助分析数据,成为了该券商一个急需重点关注的问题。通过搭建大数据平台来存储与处理日益增长的交易数据,日志数据,并结合KAP构建多维分析模型,以满足企业在超大规模数据集上获得极速洞察的能力。 1. 公司及产品简介 上海跬智信息技术有限公司(以下简称Kyligence)由Apache Kylin(第一个来自中国的Apache软件基金会顶级开源项目)核心团队成员组建而成。作为领先的智能大数据分析平台及解决方案供应商,Kyligence专注于大数据分析领域创新,致力于进一步推动Apache Kylin开源项目的发展和演进,拓展全球用户社区;提供基于Apache Kylin的下一代企业级数据仓库及商务智能大数据分析平台Kyligence Analytics Platform (以下简称KAP)。从私有部署到云计算平台,KAP都能使用户在超大规模数据集上获得极速的交互式分析能力和洞察能力。 Apache Kylin是Hadoop生态的重要成员,是首个完全由中国团队贡献和主导的Apache软件基金会顶级开源项目。开源两年来,Apache Kylin已经被国内外超过200家公司所使用,包括eBay、Yahoo、Expedia、百度、网易、京东、美团、唯品会等国内外大型互联网公司,以及电信、金融、高端制造等传统行业的领先企业。Kylin广泛应用于大数据分析平台、OLAP多维分析、数据服务平台、自助查询平台等多种大数据分析场景中。 Kyligence推出的大数据智能分析平台KAP,是基于Apache Kylin的,在超大数据集上提供亚秒级分析能力的企业级大数据分析产品,定位于为业务用户、分析师及工程师提供简便、快捷的大数据分析工具和产品。在继承Apache Kylin的超高性能、免编程开发、多协议支持、非侵入式部署等突出优点的同时,KAP在企业用户所关注的应用场景丰富、实施效率、安全可控、存储效率、性能优化、自助式敏捷BI、系统监控等方面进行了全方位的完善和创新,被誉为目前最为成熟的OLAP on Hadoop产品。 2. 背景概述 我国证券交易以互联网为主,随着非现场开户等政策出台以及移动终端的普及,证券移动互联网化发展迅猛,已经成为各券商的主要发力方向。行业佣金率的不断降低和一人一户制度的取消,更是使得互联网证券业务成为各券商开源节流、聚焦投资用户、服务长尾用户的有力手段和创新方向。 深度的用户洞察和良好的用户体验是互联网证券的核心竞争力。券商业务属性天然适应大数据概念,与其他产业相比,证券业的产品、服务与流程都能体现出充分的虚拟化特征,这一点与互联网的基因完全适应。多年积累形成了丰厚的数据资产,但在大数据场景下,需要进一步提升在数据处理、数据分析及数据挖掘等能力,充分利用海量用户行为数据,进一步提升核心竞争力。 本案例中的券商是国内最大综合类证券公司之一,注册资本60亿元以上,经营业绩稳居业内前三,经营管理、风险控制、合规体系、信息技术等水平领先,是国内最早开展各类创新业务的券商之一。凭借全方位的业务创新、服务创新和管理创新,成就了一系列市场第一。 伴随着大量线上交易操作的完成,该证券企业的业务系统已经积累了丰富的后台数据和信息。如何了解客户的交易习惯,掌握理财产品的销售状况,以及完善客户画像,识别潜在客户成为了证券行业急切依赖大数据去解决和发现的问题。充分利用好这些数据,将对业务的改进和市场扩展带来极其重大的价值。 3. 案例概况 该券商大数据平台的建设在企业内部一直是不断地规划与完善当中。从2014年至今,该证券行业标杆企业已相继完成了Hadoop基础平台搭建、数据接入与存储等工作,并定义出了经营分析、数据服务、战略决策等几个大的主题领域。然而,随着数据使用的不断深入,业务分析的不断完善,越来越多的数据需求开始爆发出来,如何减轻IT人员的数据处理工作,提高大数据平台的分析效率,甚至让用户可以自助分析数据成为了一个急需重点关注的问题。 在使用KAP之前,企业的大部分数据都存储在传统的数据仓库之上,Hadoop平台也存储了部分数据,但是由于缺少适合的分析工具,平台之上的实际应用相对较少。随着数据量越来越多,在传统的数仓中查询分析响应速度越来越慢,且不易于扩展。特别是针对非重复计数等指标的实时计算需求,在大数据量的记录上更是无法满足。