日志易饶琛琳:极客邦科技CNUTCon日志处理技术前瞻

  • 日期:01-14
  • 点击:(1325)


2018年11月16日,极客状态科技(geek state technology)组织的CNUTCon全球运维技术大会将如期在上海举行。会议的第二天,由易刊(Journal Easy)联合主办的“期刊加工”专题论坛揭幕。鉴于这一主题的四大主题,边肖采访了《期刊加工》主题的出版商拉奥陈琳。

大数据时代的到来不断刷新人们对数据价值的理解。使用数据更好地服务于业务可以带来更多的客户。使用数据反馈到生产中可以指示研发方向。

对于操作和维护,最重要的数据是日志。然而,每个集群的日志格式是不同的,而且数据量如此之大,我们如何才能充分而容易地挖掘日志的价值呢?甚至有些人可能会想,原木真的有那么值钱吗?

在即将召开的CNUTCon全球运维技术大会上,围绕“日志处理”这一主题,来自主要互联网集团的四大玩家将从不同角度解读这一问题。这里会有任何有趣的分享。让我们探究一下这次采访的底部。

如何确定选择的主题

该主题旨在推广日志处理的更广泛应用。日志不仅显示在访问日志和错误日志上,而且在其他方面,日志还可以极大地赋予操作和维护工作价值。本主题与应用场景和性能管理分开阐述,旨在让读者知道日志处理可以在哪里使用,以及为什么和如何使用。

从传统的操作和维护角度来看,日志的应用领域相对狭窄。本主题从多个层面选择,并将在日志可能使用的方向上推广。日志可以应用于服务器、网络、移动终端,也可以与测试和其他功能相结合。这些维度的应用将为运营和维护人员或整个

IT团队以及业务部门带来更大的价值。这就是为什么选择移动终端与质量保证和运营部门一起工作的原因。

另一方面,日志处理被广泛使用,数据量将激增,这将使日志处理更加困难。如何维护大规模的海量日志?围绕这一点,有期刊平台的话题。然而,光有平台是不够的,高性能是目标。这也是操作和维护的重点。在项目中把高性能放在第一位也达不到同行的期望!“日志处理”的未来发展方向是什么?互联网发展的趋势是利用数据分析来推动信息技术工作。在日志处理方面,饶陈琳认为未来的发展方向有三个步骤,即集中化、人工智能驱动、然后转移任务安排。

目前,许多企业在日志处理方面的规范是,每个部门都有一个独立的日志系统,如操作和维护、测试和研发,这些部门的日志是分开处理的。这样,日志的作用相当有限。

数据集中化使数据的价值达到1 12

。如果集中管理日志,可以获得更全面和详细的信息。在此基础上,利用人工智能技术可以使集中日志分析过程更加高效和准确。日志集中化意味着平台化。平台化可以将不同部门的工作紧密联系起来,然后可以链接起来或者调用服务编排。这将大大提高工作效率。

运维人员通过了解新兴的日志处理技术框架,可以更好地把握技术发展趋势。在流处理方面,Flink是目前最流行的框架。对于模式相对固定的需求,可以使用麒麟和Clickhouse等框架。

日志很容易为上述发展方向制定任何计划。

就集中化而言,日志很容易成为一个大型平台管理系统。目前,如果许多公司的ES

集群有20或30个以上的节点,再进行管理就相当麻烦了。正常情况下,集群将被拆除。这将给日志管理带来许多不便。然而,在使用单个集群集中处理大量日志数据的研究中,log Yi已经做了大量的性能优化工作。单一集群管理日志将大大降低操作和维护的复杂性

今天,当DevOps和AIOps不断更新操作和维护的概念时,我们有理由相信日志处理将迎来更高的性能和更方便的明天。如果你不相信,就看日志吧!

InfoQ主办的第四届CNUTCon全球运维技术大会邀请推特、RIOT Games、英美烟草、华为等国内外主要工厂从各个方向和角度分享运维领域的50个最佳实践案例。

附件是“日志处理”主题的暂定议程:

1。日志分析场景中搜索引擎的改进李武平/日志简易技术副总裁

2。构建移动案例综合日志分析系统的新思路周辉/美团评论高级移动架构师

3。质量保证部门和运营部门合作建立一个抗脆弱的软件系统,链接于冰/思维工厂高级软件质量分析师

4。沪江网络杂志平台化路曹华林/沪江资深建筑师

本文由网站管理员的家庭用户提交,未经网站管理员的家庭许可,严禁转载。例如,如果大多数用户在稿件中发现虚假报告,欢迎读者反馈、纠正和报告问题(反馈入口)。

免责声明:这篇文章是对用户的贡献。网站管理员的家只发表这篇文章来传达信息。这并不意味着网站管理员的家同意其观点,不对内容的真实性负责,仅供用户参考,不构成任何投资或使用建议。读者被要求核实真实性和可能的风险,任何后果将由读者自己承担。