西安地铁25日起全线网恢复常态化运营
为配合春运工作,根据当前疫情防控形势,结合客流快速增长的特点,自1月25日起,西安地铁全线网恢复...
2024-07-16 16:51:24
来源:看点时报
随着数字时代的发展,数据的来源和生成方式越来越广泛,数据形态也愈加丰富。
以某电商平台的数据情况举例。该电商平台每日产生大量数据,有些为电商平台的订单数据,包括订单号、商品数量、金额、购买时间等,由于这类数据具有明确的格式和固定的字段,并遵循一定的格式,属于结构化数据;有些如客服与客户的聊天记录、客户对具体商品的反馈等,这类数据没有固定格式和明确结构,包括文本、视频、图片、音频等,则属于非机构化数据。
为了能更好支撑该电商平台对数据的使用,底层数据引擎的选型要适应不同数据格式的要求,但采用多套数据引擎也会存在架构复杂、灵活性差、运维压力大等问题。那么,是否能用统一数据架构解决以上问题?
火山引擎ByteHouse全文检索引擎为这一问题提出了解决方案。
作为一款定位为OLAP的分析型数据库,ByteHouse在支持结构化数据检索方面具备先天优势,而此次发布的全文检索引擎则补齐了对非结构化、半结构化等数据的快速检索能力,让用户可以构建一体化的数据管理、查询服务,降低运维成本和资源成本。据介绍,ByteHouse全文检索引擎,能够支持商品搜索、知识库搜索、日志分析等场景下对文本数据进行关键字检索。
不仅仅能帮助用户精简数据架构,ByteHouse相比于行业常见的非结构化数据处理引擎,如ElasticSearch也具备明显优势。
在性能层面,相关测试数据显示,当单服务器日志写入量在50MB-200MB/s,每秒写入超过30w记录数的情况下,ByteHouse是ElasticSearch性能的5倍以上。在成本层面,ByteHouse具备更高数据压缩比、消耗更少的CPU资源,在保障高效查询的基础上,还能进一步压缩服务器成本。在稳定性层面,ByteHouse冷热分离机制、负载均衡策略,让数据稳定性更高。
除此之外,对于研发人员来说,ElasticSearch上手较难,不支持SQL,数据管理和维护较为麻烦,而ByteHouse采用SQL语法,极大降低学习成本。
截至目前,ByteHouse全文检索能力已经在诸多场景落地。比如,仟传网络之前通过自建ElasticSearch来提供舆情相似度检索能力,但从性能、成本角度来看,无法满足需求。从ElasticSearch迁移到ByteHouse之后,ByteHouse在几十亿数据下查询和写入都非常稳定,还让总资源成本整体节省了60%。
ByteHouse全场景分析引擎
“一元化数据、多元化引擎”是ByteHouse的产品理念,旨在通过构建统一的平台为用户提供更丰富的数据分析能力,实现数据效能最大化。除了全文检索引擎,ByteHouse还推出了GIS引擎、Vector引擎,让用户在享受OLAP极致性能的同时,无需引入其他架构,就能使用地理空间分析、向量检索能力,进一步提升使用体验。(作者:周雨)
为配合春运工作,根据当前疫情防控形势,结合客流快速增长的特点,自1月25日起,西安地铁全线网恢复...
科技日报记者 张佳星 策划 刘莉 有没有想过,如果有了新冠特效药,你会选择打针还是吃药? ...
民政部日前印发了《关于进一步加强寒假春节期间孤儿、事实无人抚养儿童、农村留守儿童关爱服务工作...
中新网上海1月25日电 (周卓傲)1月22日下午4点30左右,上海地铁15号线祁安路站一名老年女乘客下车时...
记者从河南高速了解到,受大雾影响,截至2022年1月25日8:20河南共30条高速禁止车辆上站: 1、因...
马上评|多写3字赔近3万,离职报告的坑该填上了 一场离职,有人“赚了”,有人“赔了”。最近,...
2022年1月24日19时,山东济宁梁山县疾病预防控制中心接到济宁市疾病预防控制中心推送的北京市大兴区...
根据河南省许昌市疫情防控指挥部(2022年6号)通告,即日(1月25日)起,有序恢复正常生产生活秩序。 ...
科技日报记者& 8194;张梦然 据最新一期英国《自然·通讯》报道,美国密歇根大学开发出一种半导...
科技日报记者& 8194;刘霞 据物理学家组织网近日报道,美国麻省理工学院的科学家借助机器学习算...
记者从河南省禹州市疫情防控指挥部获悉,根据国务院关于应对新冠肺炎疫情分区分级防控工作要求,结...
1月25日,辽宁省金秋医院按照上级部门协查通知,根据国家和省、市疫情防控要求,该医院严格落实相关...