加入收藏 | 设为首页 | 会员中心 | 我要投稿 常州站长网 (https://www.0519zz.com/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 运营中心 > 建站资源 > 优化 > 正文

基于Python语言的大数据搜索引擎

发布时间:2019-07-11 21:55:18 所属栏目:优化 来源:简单艾
导读:副标题#e# 搜索是大数据领域里常见的需求。Splunk和ELK分别是该领域在非开源和开源领域里的领导者。本文利用很少的Python代码实现了一个基本的数据搜索功能,试图让大家理解大数据搜索的基本原理。 布隆过滤器 (Bloom Filter) 第一步我们先要实现一个布隆过

运行结果如下:

  1. s = SplunkM() 
  2. s.add_event('src_ip = 1.2.3.4') 
  3. s.add_event('src_ip = 5.6.7.8') 
  4. s.add_event('dst_ip = 1.2.3.4') 
  5. for event in s.search_all(['src_ip', '5.6']): 
  6.  print event 
  7. print '-' 
  8. for event in s.search_any(['src_ip', 'dst_ip']): 
  9.  print event 
  10. src_ip = 5.6.7.8 
  11. src_ip = 1.2.3.4 
  12. src_ip = 5.6.7.8 
  13. dst_ip = 1.2.3.4 

总结

以上的代码只是为了说明大数据搜索的基本原理,包括布隆过滤器,分词和倒排表。如果大家真的想要利用这代码来实现真正的搜索功能,还差的太远。

(编辑:常州站长网)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

热点阅读