vlambda博客
学习文章列表

活动预告‖基于Lucene实现万亿级多维检索与实时分析的实践之路

— QCon全球软件开发大会(北京) 



Lucene是业界最常用的搜素引擎,我们所熟知的solrelasticsearch都是基于Lucene所实现。但是随着数据体量的不断增加,当处于万亿数据的场景之下,所有的常规操作都会面临海量数据带来的巨大压力,如何在保留Lucene高效的全文检索能力的情况下应对万亿数据的挑战,同时打破大数据技术栈各组件功能单一,适配复杂的问题。针对于此,我们将会在本次QCon全球软件开发大会上分享我们这些年在实现基于Lucene的万亿数据挑战中所遇到的问题和解决方案。



01 讲师介绍

活动预告‖基于Lucene实现万亿级多维检索与实时分析的实践之路

活动预告‖基于Lucene实现万亿级多维检索与实时分析的实践之路


郑其华  录信数软  技术总监

  • 原FNST(富士通南大)资深工程师,富士通系统监视中间件产品项目经理,10年以上软件开发与维护经验

  • 富士通中间件Lifecycle Management和Job Management认证专家

  • 曾负责华为RTOS(实时嵌入式操作系统)的维护,对Linux内核、系统监视等方面有丰富经验

  • 中汽研《2020汽车企业数字化研讨会》受邀演讲嘉宾



02 内容预告


万亿数据的挑战与实现



万亿挑战之一:数据存储

如何解决读写不均衡问题,让磁盘自觉分工,实现自动均衡?

如何解决数据安全问题,避免磁盘损坏、误删丢失对于生产的影响?

如何解决数据存储成本过高,过度依赖于SSD盘的硬件困局?

 

万亿挑战之二,检索性能

如何实现在万亿数据的全文检索中的秒级响应?

 

万亿挑战之三,多维统计

如何降低IO消耗,实现百万条数据瞬间导出?

 

万亿挑战之四,区域检索

如何提升地理位置检索能力,提升地理位置检索的精确性?

 

万亿挑战之五,计算框架

如何提升Spark性能从而大幅提高系统的响应时间?



5月29日,我们北京见!

— QCon全球软件开发大会(北京)