跨境电商系列|电商行业的爬虫识别与管理
原标题:跨境电商系列 | 电商行业的爬虫识别与管理
当今数字化时代,几乎每个行业都意识到“流量”的重要性。以电商为例,流量意味着曝光量,意味着客户感知度,意味着口碑,意味着潜在客户,也意味着商机……
然而您所获得的全部流量,真的就都是有益的,都能对业务产生积极影响吗?那也未必!
爬虫,流量获取之路上一个绕不过的坎儿
作为全球领先的IT技术和服务提供商,Akamai致力于通过智能边缘平台为全球企业提供安全、流畅的数字化体验。凭借遍及全球135个国家/地区的庞大规模与丰富服务。Akamai目前已承载了30%的全球互联网流量。经分析发现,这其中只有约60%的流量是真实用户产生的,其余40%的流量都来自于各种爬虫。
爬虫又是什么?简单来说,爬虫是一种自动运行,在互联网上检索各类信息(这一过程也叫做“爬取”)的程序。例如每个人可能都会使用的搜索引擎,就是事先由搜索引擎的爬虫程序爬取全网的网页,了解不同网页包含了哪些信息,随后才能为我们提供搜索结果。
具体到电商领域而言,根据Akamai统计,电商行业所产生的流量中,来自真实用户以及来自爬虫的流量几乎处于对半分的状态。也就是说,电商IT系统所处理的流量,约有50%都来自于各类爬虫程序。
其中包括来自搜索引擎、广告平台、社交媒体、测试平台等商家真正需要的爬虫(可称为“善意爬虫”);当然,不可避免地会有竞争对手爬取商品价格库存等信息,或恶意人员开展撞库攻击的,商家不需要并且希望尽可能避免的爬虫(此类可叫做“恶意爬虫”)。
恶意爬虫的影响,往往是多方面的
从IT的视角来看,如果50%的电商流量都是爬虫产生的,那么其中源自各类恶意爬虫的流量占比也不会小。这意味着企业为应对业务增长而准备的IT容量中,很大一部分都被各类不需要的恶意爬虫流量消耗了。换句话说,恶意爬虫流量在影响Web系统性能的同时,也进一步增加了基础设施和运维等各方面成本。
从业务视角来看影响更大。竞争对手恶意爬取价格、库存等信息,会直接削弱商家竞争力;“黄牛党”和“羊毛党”利用爬虫干扰正常新品首发或促销活动,导致失去销售机会甚至影响到商家与客户的关系;发起撞库攻击的爬虫甚至会导致用户账号、账户余额、积分失窃等更严重后果,导致商家声誉受到影响,甚至在某些情况下造成不合规或罚款。
当今数字化时代,几乎每个行业都意识到“流量”的重要性。以电商为例,流量意味着曝光量,意味着客户感知度,意味着口碑,意味着潜在客户,也意味着商机……
然而您所获得的全部流量,真的就都是有益的,都能对业务产生积极影响吗?那也未必!
爬虫,流量获取之路上一个绕不过的坎儿
作为全球领先的IT技术和服务提供商,Akamai致力于通过智能边缘平台为全球企业提供安全、流畅的数字化体验。凭借遍及全球135个国家/地区的庞大规模与丰富服务。Akamai目前已承载了30%的全球互联网流量。经分析发现,这其中只有约60%的流量是真实用户产生的,其余40%的流量都来自于各种爬虫。
爬虫又是什么?简单来说,爬虫是一种自动运行,在互联网上检索各类信息(这一过程也叫做“爬取”)的程序。例如每个人可能都会使用的搜索引擎,就是事先由搜索引擎的爬虫程序爬取全网的网页,了解不同网页包含了哪些信息,随后才能为我们提供搜索结果。
具体到电商领域而言,根据Akamai统计,电商行业所产生的流量中,来自真实用户以及来自爬虫的流量几乎处于对半分的状态。也就是说,电商IT系统所处理的流量,约有50%都来自于各类爬虫程序。
其中包括来自搜索引擎、广告平台、社交媒体、测试平台等商家真正需要的爬虫(可称为“善意爬虫”);当然,不可避免地会有竞争对手爬取商品价格库存等信息,或恶意人员开展撞库攻击的,商家不需要并且希望尽可能避免的爬虫(此类可叫做“恶意爬虫”)。
恶意爬虫的影响,往往是多方面的
从IT的视角来看,如果50%的电商流量都是爬虫产生的,那么其中源自各类恶意爬虫的流量占比也不会小。这意味着企业为应对业务增长而准备的IT容量中,很大一部分都被各类不需要的恶意爬虫流量消耗了。换句话说,恶意爬虫流量在影响Web系统性能的同时,也进一步增加了基础设施和运维等各方面成本。
从业务视角来看影响更大。竞争对手恶意爬取价格、库存等信息,会直接削弱商家竞争力;“黄牛党”和“羊毛党”利用爬虫干扰正常新品首发或促销活动,导致失去销售机会甚至影响到商家与客户的关系;发起撞库攻击的爬虫甚至会导致用户账号、账户余额、积分失窃等更严重后果,导致商家声誉受到影响,甚至在某些情况下造成不合规或罚款。
相关文章
-
热点|探探在AppStore下架
-
当男人们都开始追星,你会发现他们才skr人才。|DebugTime
-
苹果产品定价过高?HomePod正在亏本销售
-
解剖12大智慧零售案例!商超服饰等6大行业巨头这样重生【附下载】|智东西内参
-
氪星晚报|B站成立战略发展部与战略投资部,还将拓宽主站门类;滴滴新成立用户增长部;Switch主机将于本周恢复发货
-
线下手机销量榜:小米9首登畅销榜前十荣耀8X大跌48.6%
-
为什么李彦宏做直播能多带来120亿市值?
-
跟风者陈一舟 怎样一步步丢了人人网
-
电子邮件和QQ邮箱有什么区别
-
【虎嗅晚报】重庆、广州法院:今日头条禁止传播热门游戏;清华与华为签署科技合作框架协议
-
小米手机怎么补电
-
深度资讯 | 下调营收预期后一天蒸发560亿美元,还有办法阻止苹果落下吗?
-
马云贝索斯都看好:流量饥渴有病,会员经济有药
-
“二手淘”闲鱼优品正式上线,马云瞄准又一个千亿市场
-
马化腾的新春大招:真·视频红包
-
ppt怎么制作红包抽拉式抽奖动画效果,抽拉式效果
-
泫雅“全球唯一限量版香奈儿包包”淘宝卖疯,网友:一下省了两万
-
在阿里巴巴给IT大神“修电脑”的95后,上岗前先在15天内学会百款产品
-
可惜发得有点迟!6英寸+高通632+1200万双摄,魅族Note8买不买
-
恭喜果粉了!iPhone13有望加入屏下指纹解锁
-
续航1000公里的理想智造ONE,现实离理想到底有多远?
-
阿里CEO张勇:阿里巴巴不会裁员;苹果最早明年放弃英特尔处理器;《流浪地球》延长上映两个月
-
大数据助力政治学研究(学苑论衡)
-
人民日报点赞:温州科创光照“双碳”之路
-
Google地图会成为下一个超级应用吗?
-
躺赢10亿,百度春节红包最全攻略来了
-
外媒:苹果4月在华售出390万台iPhone
-
永辉百佳“广东合资”或是第一步,未来大戏不断
-
【得得周报】12.24-12.30|2018年最后一周数字货币总市值下跌5.16%,火币矿池或将上线EOS交易所