如何光明正大搜集竞争对手数据？
中国古话说的好，“知己知彼，百战百胜”，这用到国外的公司也是同样的道理。小探今天就来跟你说说，大公司，尤其是电子商务领域的大公司们是如何搜集竞争对手数据的？
先来看看美国的在线零售商的几大巨头都有谁。
根据 Techcrunch 去年的一篇报道，亚马逊无疑已经是占据了美国电子商务的半壁江山，其它零售商像沃尔玛、Home Depot、Best Buy 的份额都远远小于亚马逊了。
但这并不意味着后来者主动放弃竞争向上的机会。
路透社在 2017 年就曾报道过，沃尔玛依靠计算机程序扫描竞争对手网站上的价格，以便相应地调整其价格列表。因为价格差50美分就可能意味着你的消费者就去别家买了。（嗯，没错，精明，是哪个国家消费者都有的事！
当然，大公司并不是你想搜集，就能搜集的。事实上，亚马逊的发言人就表示，该公司已经意识到有竞争对手使用机器人检查其价格列表，并“残忍地”拒绝了任何机器人类的“活动”。
（截自路透社新闻报道）
那到底有没有办法，绕开亚马逊的检查，顺利爬取它的数据呢？当然！几个亚马逊前员工，就希望反大公司而行之，帮助客户，搜集大公司的数据。更准确说，“抓取你竞争对手的网上数据，无论是你本身是大公司，还是小公司。”
这就是最近小探从伯克利孵化器 Skydeck 采访到的一家初创公司 Bungee 在做的。Skydeck 孵化器此前小探已经有介绍过，它是全美首个公立研究型大学的校内加速器计划。它孵化的初创企业多数是已有工作经验的人，在校生相对较少。
光明正大地搜集数据
就电子商务领域来说，亚马逊由机器人驱动的定价已经代表了零售业的巨大变化。电子商务跟实体店的一个巨大不同是：你的价格可以一天变化好几次。而亚马逊总是有最低价，就是因为它能时刻追踪竞争对手的价格变化。
这是怎么做到的呢？主要是零售商通过其库存水平、销售预测和竞争对手的定价数据，用算法帮助进行价格的更新。正因为是算法驱动的，每天甚至可以更新多次。
（亚马逊的产品价格变化）
如果没有像亚马逊或者沃尔玛这样用机器人来搜集数据的话，那就只能动用其它武器了：比如虚拟专用网（VPN）、代理、P2P 网络等，再加上庞大的开发运营，就为了手动挖掘对手的数据。
那如果用机器人来搜集数据的话，一般又是怎么做的呢？
据 Bungee 产品经理 Calrence Chang 介绍，抓取的行为多半是通过机器代码进行的。这也是为什么只要网上一搜“爬数据”（crawl data），出来的都是如何用代码进行爬数据。用机器爬数据虽然快，但很容易被“反爬”，这也是为什么亚马逊能够识别“机器人”的行为，然后进行阻止。
2017年秋季开始，Bungee 的两位创始人Rajat Nigam 和 Charles Ding 就开始研究，到底有没可能自动轻松搜集数据，而且还不被对方的机器人发现呢？
按照 Bungee 产品经理 Clarence Chang 的说法，创始人“是希望能有一种工具，可以简化全球规模的网络数据收集，各种代理、VPN和其他传统技术都不需要了。就光明正大地互相收集数据吧！”
让机器人假装成人，就不会被发现了
如今，Bungee 已经成功开发出了一种 API，让 API 可以比任何当前服务更大规模地满足爬取数据（crawl data）的请求，同时还保持接近完美的爬取成功率。
到底是怎么做到的呢？
很简单，机器人容易被对方机器人发现进而阻止，但人就不会啊！那扮成“正常的消费者”不就好了！
试想一下，如果你自己在网上浏览各种产品信息的话，一般是怎么做的？是不是先搜索一下这个产品，进入电商页面后，还会上下滑动页面，回到主页再比较一下不同的价格，甚至会看看点评？
事实上，Bungee 就是这样做的。Clarence告诉小探，如果是机器的话，一般是一个固定的IP地址，进入网站后，就不断地点击产品链接，获取价格数据。但是，Bungee 通过“模拟”人在挑选页面的动作，比如停留的秒数，滑动的次数等，从而让机器做到像“人类”一样“购物”。如今，Bungee 的成功率高达 90%，也就是说，只有10%的可能性会被机器人发现了。
这样“爬数据”，竞争对手一旦知道了，会不会反应很激烈呢？
Clarence 认为，实际上，爬数据已经是“公开的秘密”了。商业领域时刻都在进行这样的事情，因为你总是需要了解竞争对手的，大公司也不会告诉你“我们已经在做这件事”了。
当前，Bungee 服务的客户主要面向的是电商、机票以及酒店领域，这些都是典型消费者最关注价格的应用场景。“这样，消费者就能获得最好的价格了。”
Clarence 还透露，其实连我们平时不太留意的求职市场，也存在着众多机会。像美国当前求职市场里面，LinkedIn、Indeed、Glassdoor等 ，都难免存在相同的求职信息，这其实就是竞争对手互相“复制”导致的。
无需防火墙，300个城市任你选
不知大家有没有试过，如果买一张从美国出发到中国的机票，你在美国买和在中国买，价格是不一样的，至少小探就试过。（所以每回买回国机票，小探难免还得回国内各大机票官网瞄一眼！）
这也是销售商最典型的销售策略：越发达国家，可以承受同样东西的价格就越贵……（销售商内心OS：发达国家钱多，当然要赚多点啊！）
Bungee 的另一大技术优势就出现了，即使你想要查找同一款产品在不同国家的价格数据，又或者是只在同一个国家、不同城市的价格数据，都可以！
“这有助于我们的客户迅速了解全球的价格数据，而不再是仅仅某个国家的数据。” Clarence告诉小探，这主要是通过 Bungee 服务器在全球有30多个国家，以及300多个城市的终端做到的，从而帮助客户获取基于地理位置数据的价格。
那么，现在 Bungee 的客户都有哪些呢？据 Clarence 透露，现在 Bungee 已有2个大客户，其中一个是电子商务领域的客户，另一个是财富 50 强客户，是一家专做市场研究的印度企业。
Bungee 最终能提供给客户的是什么呢？很简单，竞争对手数据。获得数据有两种方式，第一种方式，是给客户提供API（应用程序编程接口），客户可以通过自己的开发人员，从中获取任何想要的数据；第二种方式，提供数据包，比如客户想要某个邮编区域销售电子器材的电商的价格数据，无论是沃尔玛，还是Sears百货，Bungee提供的销售文档里面，就包括产品价格、运输情况、客户的评价等。如今，每天，Bungee 能够对1500 万件产品进行分析！
此外，Bungee 还提供基于 Chrome、Firefox 浏览器的插件版本，让客户搜集数据更加方便。登录 Bungee 账户后，选择你想要假装在的地方，比如你现在在加州的伯克利，但你想要假装在美国的佛罗里达州，又或者说加拿大的多伦多，都是可以的。
下一步：从搜集数据到分析数据
研究机构 IDC 曾预测， 到2025年预计全世界每年将创造163个zettabytes（ 1万亿千兆字节） 的数据 。小探此前曾报道过，美国大约每年花费 250 亿美元在人工收集数据上。
无论是数据拥有者，还是数据分析者，都试图在这样庞大的数字市场当中分一杯羹。“数据是到处都有的，但你如何收集收据，用好数据，这正是企业所期盼的。” Bungee 告诉小探，当前第一步确实是从收集数据开始，但是，随着数据的增加，Bungee 希望用自己的深度学习等算法技术，对数据进行分析，提炼出更多洞察在其中，向用户出售更多有价值的数据。
Bungee 希望服务的，不仅仅是大公司，也有众多小型公司，从10人到500人的公司，都是可以提供 SaaS 服务的。
试想一下，如果某个国内企业想要在亚马逊上售卖自己的产品，比如鞋子，但是可能一开始是不知道如何定价的，如果通过 Bungee 获取了某双鞋子的价格、其它公司如何做促销的、假期如何影响销量等关键信息后，或许就知道如何定价、如何促销了。
分析竞争对手的庞大帝国
小探发现，捕捉竞争对手动态的公司已有不少，甚至已经形成一个完整的产业链。不同的初创公司正在试图通过多种渠道解决，到底企业该如何分析你的竞争对手，分析竞争对手的哪些部分并加以利用。
· 综合性竞争对手分析
Kompeyte：小探此前就采访过这个创业公司，它是被 500 Startups 孵化的企业。Kompeyte 提供的是实时访问竞争对手的网站、社交媒体、广告、新闻简报、热议度、着陆页等多个渠道，24小时就能见分晓。我不是教你诈，这家公司就是教你如何“吃透”竞争对手
· 竞争对手的受众分析
Brandwatch：这家英国的创业公司着重于在社交平台关注竞争对手的受众，主要监控竞争对手的社交媒体输出。企业可以分析并查看对手的受众特征、以及他们共享的内容。甚至可以下载粉丝作为列表，通过像 Twitter 广告之类来定位类似的受众。这家公司融资6470万美元，利润8960万美元。
· SEO和关键词分析工具
SpyFu，亚利桑那州这家公司 可以显示竞争对手在谷歌 AdWords 中购买的每个关键字，以及过去 10 年以来的广告变化。 帮助客户更深入地了解竞争对手使用的关键字和PPC（pay-per-click） 广告关键词策略。比如，竞争对手排名的关键字数量，以及企业关键字与对手关键字设置的重叠程度等。这家企业的利润是380万美元。
SEMRush，这家位于波士顿的创业公司，提供在线可视化管理和内容营销SaaS平台。希望通过分析竞争对手的一系列关键字、付费搜索和排名等指标，帮助企业进行分析。可免费搜索10个网站，得出有限结果。 这家公司融资4000万美元，利润310万美元。
· 付费广告和PPC工具
iSpionage，这家硅谷初创公司成立于2008年，该公司提供可识别竞争对手PPC的工具，还包括其每月预算和整个Adwords策略。甚至可以访问七年的PPC和SEO关键字数据。这家公司利润1000万美元。
Whatrunswhere，这家成立于2011年的加拿大公司，提供查看竞争对手的广告位置，甚至广告外观、以及广告效果的功能。甚至包括访问15万个效果最佳的展示广告发布商的广告系列数据，在2016年被一家数字广告企业收购。这家企业利润400万美元。
可以说，无论是分析竞争对手本身，还是分析竞争对手的受众，乃至竞争对手如何做广告都分析了。这些企业明显面向企业的需求也导致了即使未有进行过多融资，但利润并不低。果然是：都来互相搜集吧！
中国古话说的好，“知己知彼，百战百胜”，这用到国外的公司也是同样的道理。小探今天就来跟你说说，大公司，尤其是电子商务领域的大公司们是如何搜集竞争对手数据的？
先来看看美国的在线零售商的几大巨头都有谁。
根据 Techcrunch 去年的一篇报道，亚马逊无疑已经是占据了美国电子商务的半壁江山，其它零售商像沃尔玛、Home Depot、Best Buy 的份额都远远小于亚马逊了。
但这并不意味着后来者主动放弃竞争向上的机会。
路透社在 2017 年就曾报道过，沃尔玛依靠计算机程序扫描竞争对手网站上的价格，以便相应地调整其价格列表。因为价格差50美分就可能意味着你的消费者就去别家买了。（嗯，没错，精明，是哪个国家消费者都有的事！
当然，大公司并不是你想搜集，就能搜集的。事实上，亚马逊的发言人就表示，该公司已经意识到有竞争对手使用机器人检查其价格列表，并“残忍地”拒绝了任何机器人类的“活动”。
（截自路透社新闻报道）
那到底有没有办法，绕开亚马逊的检查，顺利爬取它的数据呢？当然！几个亚马逊前员工，就希望反大公司而行之，帮助客户，搜集大公司的数据。更准确说，“抓取你竞争对手的网上数据，无论是你本身是大公司，还是小公司。”
这就是最近小探从伯克利孵化器 Skydeck 采访到的一家初创公司 Bungee 在做的。Skydeck 孵化器此前小探已经有介绍过，它是全美首个公立研究型大学的校内加速器计划。它孵化的初创企业多数是已有工作经验的人，在校生相对较少。
光明正大地搜集数据
就电子商务领域来说，亚马逊由机器人驱动的定价已经代表了零售业的巨大变化。电子商务跟实体店的一个巨大不同是：你的价格可以一天变化好几次。而亚马逊总是有最低价，就是因为它能时刻追踪竞争对手的价格变化。
这是怎么做到的呢？主要是零售商通过其库存水平、销售预测和竞争对手的定价数据，用算法帮助进行价格的更新。正因为是算法驱动的，每天甚至可以更新多次。
（亚马逊的产品价格变化）
如果没有像亚马逊或者沃尔玛这样用机器人来搜集数据的话，那就只能动用其它武器了：比如虚拟专用网（VPN）、代理、P2P 网络等，再加上庞大的开发运营，就为了手动挖掘对手的数据。
那如果用机器人来搜集数据的话，一般又是怎么做的呢？
据 Bungee 产品经理 Calrence Chang 介绍，抓取的行为多半是通过机器代码进行的。这也是为什么只要网上一搜“爬数据”（crawl data），出来的都是如何用代码进行爬数据。用机器爬数据虽然快，但很容易被“反爬”，这也是为什么亚马逊能够识别“机器人”的行为，然后进行阻止。
2017年秋季开始，Bungee 的两位创始人Rajat Nigam 和 Charles Ding 就开始研究，到底有没可能自动轻松搜集数据，而且还不被对方的机器人发现呢？
按照 Bungee 产品经理 Clarence Chang 的说法，创始人“是希望能有一种工具，可以简化全球规模的网络数据收集，各种代理、VPN和其他传统技术都不需要了。就光明正大地互相收集数据吧！”
让机器人假装成人，就不会被发现了
如今，Bungee 已经成功开发出了一种 API，让 API 可以比任何当前服务更大规模地满足爬取数据（crawl data）的请求，同时还保持接近完美的爬取成功率。
到底是怎么做到的呢？
很简单，机器人容易被对方机器人发现进而阻止，但人就不会啊！那扮成“正常的消费者”不就好了！
试想一下，如果你自己在网上浏览各种产品信息的话，一般是怎么做的？是不是先搜索一下这个产品，进入电商页面后，还会上下滑动页面，回到主页再比较一下不同的价格，甚至会看看点评？
事实上，Bungee 就是这样做的。Clarence告诉小探，如果是机器的话，一般是一个固定的IP地址，进入网站后，就不断地点击产品链接，获取价格数据。但是，Bungee 通过“模拟”人在挑选页面的动作，比如停留的秒数，滑动的次数等，从而让机器做到像“人类”一样“购物”。如今，Bungee 的成功率高达 90%，也就是说，只有10%的可能性会被机器人发现了。
这样“爬数据”，竞争对手一旦知道了，会不会反应很激烈呢？
Clarence 认为，实际上，爬数据已经是“公开的秘密”了。商业领域时刻都在进行这样的事情，因为你总是需要了解竞争对手的，大公司也不会告诉你“我们已经在做这件事”了。
当前，Bungee 服务的客户主要面向的是电商、机票以及酒店领域，这些都是典型消费者最关注价格的应用场景。“这样，消费者就能获得最好的价格了。”
Clarence 还透露，其实连我们平时不太留意的求职市场，也存在着众多机会。像美国当前求职市场里面，LinkedIn、Indeed、Glassdoor等 ，都难免存在相同的求职信息，这其实就是竞争对手互相“复制”导致的。
无需防火墙，300个城市任你选
不知大家有没有试过，如果买一张从美国出发到中国的机票，你在美国买和在中国买，价格是不一样的，至少小探就试过。（所以每回买回国机票，小探难免还得回国内各大机票官网瞄一眼！）
这也是销售商最典型的销售策略：越发达国家，可以承受同样东西的价格就越贵……（销售商内心OS：发达国家钱多，当然要赚多点啊！）
Bungee 的另一大技术优势就出现了，即使你想要查找同一款产品在不同国家的价格数据，又或者是只在同一个国家、不同城市的价格数据，都可以！
“这有助于我们的客户迅速了解全球的价格数据，而不再是仅仅某个国家的数据。” Clarence告诉小探，这主要是通过 Bungee 服务器在全球有30多个国家，以及300多个城市的终端做到的，从而帮助客户获取基于地理位置数据的价格。
那么，现在 Bungee 的客户都有哪些呢？据 Clarence 透露，现在 Bungee 已有2个大客户，其中一个是电子商务领域的客户，另一个是财富 50 强客户，是一家专做市场研究的印度企业。
Bungee 最终能提供给客户的是什么呢？很简单，竞争对手数据。获得数据有两种方式，第一种方式，是给客户提供API（应用程序编程接口），客户可以通过自己的开发人员，从中获取任何想要的数据；第二种方式，提供数据包，比如客户想要某个邮编区域销售电子器材的电商的价格数据，无论是沃尔玛，还是Sears百货，Bungee提供的销售文档里面，就包括产品价格、运输情况、客户的评价等。如今，每天，Bungee 能够对1500 万件产品进行分析！
此外，Bungee 还提供基于 Chrome、Firefox 浏览器的插件版本，让客户搜集数据更加方便。登录 Bungee 账户后，选择你想要假装在的地方，比如你现在在加州的伯克利，但你想要假装在美国的佛罗里达州，又或者说加拿大的多伦多，都是可以的。
下一步：从搜集数据到分析数据
研究机构 IDC 曾预测， 到2025年预计全世界每年将创造163个zettabytes（ 1万亿千兆字节） 的数据 。小探此前曾报道过，美国大约每年花费 250 亿美元在人工收集数据上。
无论是数据拥有者，还是数据分析者，都试图在这样庞大的数字市场当中分一杯羹。“数据是到处都有的，但你如何收集收据，用好数据，这正是企业所期盼的。” Bungee 告诉小探，当前第一步确实是从收集数据开始，但是，随着数据的增加，Bungee 希望用自己的深度学习等算法技术，对数据进行分析，提炼出更多洞察在其中，向用户出售更多有价值的数据。
Bungee 希望服务的，不仅仅是大公司，也有众多小型公司，从10人到500人的公司，都是可以提供 SaaS 服务的。
试想一下，如果某个国内企业想要在亚马逊上售卖自己的产品，比如鞋子，但是可能一开始是不知道如何定价的，如果通过 Bungee 获取了某双鞋子的价格、其它公司如何做促销的、假期如何影响销量等关键信息后，或许就知道如何定价、如何促销了。
分析竞争对手的庞大帝国
小探发现，捕捉竞争对手动态的公司已有不少，甚至已经形成一个完整的产业链。不同的初创公司正在试图通过多种渠道解决，到底企业该如何分析你的竞争对手，分析竞争对手的哪些部分并加以利用。
· 综合性竞争对手分析
Kompeyte：小探此前就采访过这个创业公司，它是被 500 Startups 孵化的企业。Kompeyte 提供的是实时访问竞争对手的网站、社交媒体、广告、新闻简报、热议度、着陆页等多个渠道，24小时就能见分晓。我不是教你诈，这家公司就是教你如何“吃透”竞争对手
· 竞争对手的受众分析
Brandwatch：这家英国的创业公司着重于在社交平台关注竞争对手的受众，主要监控竞争对手的社交媒体输出。企业可以分析并查看对手的受众特征、以及他们共享的内容。甚至可以下载粉丝作为列表，通过像 Twitter 广告之类来定位类似的受众。这家公司融资6470万美元，利润8960万美元。
· SEO和关键词分析工具
SpyFu，亚利桑那州这家公司 可以显示竞争对手在谷歌 AdWords 中购买的每个关键字，以及过去 10 年以来的广告变化。 帮助客户更深入地了解竞争对手使用的关键字和PPC（pay-per-click） 广告关键词策略。比如，竞争对手排名的关键字数量，以及企业关键字与对手关键字设置的重叠程度等。这家企业的利润是380万美元。
SEMRush，这家位于波士顿的创业公司，提供在线可视化管理和内容营销SaaS平台。希望通过分析竞争对手的一系列关键字、付费搜索和排名等指标，帮助企业进行分析。可免费搜索10个网站，得出有限结果。 这家公司融资4000万美元，利润310万美元。
· 付费广告和PPC工具
iSpionage，这家硅谷初创公司成立于2008年，该公司提供可识别竞争对手PPC的工具，还包括其每月预算和整个Adwords策略。甚至可以访问七年的PPC和SEO关键字数据。这家公司利润1000万美元。
Whatrunswhere，这家成立于2011年的加拿大公司，提供查看竞争对手的广告位置，甚至广告外观、以及广告效果的功能。甚至包括访问15万个效果最佳的展示广告发布商的广告系列数据，在2016年被一家数字广告企业收购。这家企业利润400万美元。
可以说，无论是分析竞争对手本身，还是分析竞争对手的受众，乃至竞争对手如何做广告都分析了。这些企业明显面向企业的需求也导致了即使未有进行过多融资，但利润并不低。果然是：都来互相搜集吧！