#用于营销活动的电话号码验证 API
Explore tagged Tumblr posts
us678 · 6 months ago
Text
https://www.marketingto.directory/phone-number-verification-api-for
0 notes
ukwhatsapp · 6 months ago
Text
https://www.marketingto.directory/phone-number-verification-api-for
0 notes
ukphone12 · 6 months ago
Text
https://www.marketingto.directory/phone-number-verification-api-for
0 notes
ukp7 · 6 months ago
Text
https://www.marketingto.directory/phone-number-verification-api-for
0 notes
ukemail67 · 6 months ago
Text
https://www.marketingto.directory/phone-number-verification-api-for
0 notes
uk12398 · 6 months ago
Text
https://www.marketingto.directory/phone-number-verification-api-for
0 notes
uk125 · 6 months ago
Text
https://www.marketingto.directory/phone-number-verification-api-for
0 notes
nusaibaakter2779 · 3 months ago
Text
企业如何构建属于自己的电话号码资源库?
在数字化营销和精准获客逐渐成为主流的今天,构建一个属于企业自己的电话号码资源库,已成为增强客户触达能力、提高转化率和降低营销成本的关键环节。一个高质量的号码库不仅仅是数字的堆积,更是企业营销与客户运营的核心资产。
那么,企业该如何从零开始,合规、系统、高效地构建自己的电话号码资源库呢?以下是一套可执行 顶级电子邮件列表 的流程、技巧与建议。
一、明确建设目标:号码库不是越大越好,而是越“准”越好
首先,企业应明确:**构建号码资源库的核心目的是什么?**常见场景包括:
销售外呼(电话营销)
短信推广(活动、通知)
客户回访与满意度调查
Tumblr media
潜客跟进与线索沉淀
用户注册或表单收集
不同目标,所需的数据维度也不同。例如,客户跟进需要带有行为标签,而短信营销则偏向归属地和活跃度。
二、获取电话号码的主要方式
1. 官网/活动表单收集
通过报名、预约、下载白皮书等方式引导用户填写手机号。此方式质量高、合规性强。
2. 社群或私域引导
通过微信群、QQ群、微信公众号、企业微信等渠道收集潜在客户手机号,可融合到CRM系统。
3. 线下活动/门店采集
线下展会、门店扫码、抽奖等方式获取的用户,通常转化意向更高。
4. 用户注册信息
产品或服务的注册页面,手机号为强制填写项,是最基础的数据来源。
5. ��告投放后自动回收数据
如落地页表单、留电广告、短信点击反馈、电话回拨等方式。
⚠️ 切忌直接购买或非法采集电话号码资源! 这不仅合规风险极高,还可能严重影响品牌声誉与客户体验。
三、如何系统化整理和管理这些号码?
一个成熟的电话号码资源库,必须具备以下几个特征:
✅ 1. 格式统一
如中国大陆手机号统一为11位数字,不带区号、不带+86、不含空格或特殊字符。
✅ 2. 数据清洗
剔除重复号码、空号、无效号;可使用空号检测API或营销系统自带筛选功能。
✅ 3. 标签打标
为每个号码打上来源(如“官网”“广告”“社群”)、意向等级、行业属性等标签。
✅ 4. 分组管理
按照业务线、客户类型、地域或活跃度分类,方便后续使用。
✅ 5. 合规标记
记录用户是否授权用于营销用途,是否退订等,保证合法使用。
四、常用工具推荐
Excel/Google Sheets:适合初期管理,支持基础筛选、分类、去重。
CRM系统(如 Zoho、纷享销客、Salesforce):支持自动化入库、标签管理、销售跟进。
营销自动化平台(如Mautic、Udesk):帮助结合短信/电话/邮件等触达手段。
Python+Pandas 脚本清洗:适合有技术人员支持的团队做批量处理。
五、如何保证号码库“活性”?
构建号码库只是第一步,持续维护、定期更新 才能真正让它为企业创造价值:
定期验证号码有效性(避免空号、销号)
监控用户行为反馈(如短信是否打开、电话是否接通)
针对不同标签群体推送差异化内容
设置退订/投诉机制,保持库内号码的合法性
六、小结:打造属于企业的核心数据资产
构建一个高质量的电话号码资源库,不是一次性任务,而是一个持续演进、不断迭代的数据工程。它的意义不仅是打电话或发短信,更在于构建企业自己的客户资产池,从而提升营销效率、降低转化成本、增强品牌竞争力。
如果你的企业还在依赖第三方买来的���冷号码”,不如现在就开始,搭建属于自己的、精准而合规的电话号码资源库,用数据赢得未来。
企业如何构建属于自己的电话号码资源库?
在数字化营销和精准获客逐渐成为主流的今天,构建一个属于企业自己的电话号码资源库,已成为增强客户触达能力、提高转化率和降低营销成本的关键环节。一个高质量的号码库不仅仅是数字的堆积,更是企业营销与客户运营的核心资产。
那么,企业该如何从零开始,合规、系统、高效地构建自己的电话号码资源库呢?以下是一套可执行的流程、技巧与建议。
一、明确建设目标:号码库不是越大越好,而是越“准”越好
首先,企业应明确:**构建号码资源库的核心目的是什么?**常见场景包括:
销售外呼(电话营销)
短信推广(活动、通知)
客户回访与满意度调查
潜客跟进与线索沉淀
用户注册或表单收集
不同目标,所需的数据维度也不同。例如,客户跟进需要带有行为标签,而短信营销则偏向归属地和活跃度。
二、获取电话号码的主要方式
1. 官网/活动表单收集
通过报名、预约、下载白皮书等方式引导用户填写手机号。此方式质量高、合规性强。
2. 社群或私域引导
通过微信群、QQ群、微信公众号、企业微信等渠道收集潜在客户手机号,可融合到CRM系统。
3. 线下活动/门店采集
线下展会、门店扫码、抽奖等方式获取的用户,通常转化意向更高。
4. 用户注册信息
产品或服务的注册页面,手机号为强制填写项,是最基础的数据来源。
5. 广告投放后自动回收数据
如落地页表单、留电广告、短信点击反馈、电话回拨等方式。
⚠️ 切忌直接购买或非法采集电话号码资源! 这不仅合规风险极高,还可能严重影响品牌声誉与客户体验。
三、如何系统化整理和管理这些号码?
一个成熟的电话号码资源库,必须具备以下几个特征:
✅ 1. 格式统一
如中国大陆手机号统一为11位数字,不带区号、不带+86、不含空格或特殊字符。
✅ 2. 数据清洗
剔除重复号码、空号、无效号;可使用空号检测API或营销系统自带筛选功能。
✅ 3. 标签打标
为每个号码打上来源(如“官网”“广告”“社群”)、意向等级、行业属性等标签。
✅ 4. 分组管理
按照业务线、客户类型、地域或活跃度分类,方便后续使用。
✅ 5. 合规标记
记录用户是否授权用于营销用途,是否退订等,保证合法使用。
四、常用工具推荐
Excel/Google Sheets:适合初期管理,支持基础筛选、分类、去重。
CRM系统(如 Zoho、纷享销客、Salesforce):支持自动化入库、标签管理、销售跟进。
营销自动化平台(如Mautic、Udesk):帮助结合短信/电话/邮件等触达手段。
Python+Pandas 脚本清洗:适合有技术人员支持的团队做批量处理。
五、如何保证号码库“活性”?
构建号码库只是第一步,持续维护、定期更新 才能真正让它为企业创造价值:
定期验证号码有效性(避免空号、销号)
监控用户行为反馈(如短信是否打开、电话是否接通)
针对不同标签群体推送差异化内容
设置退订/投诉机制,保持库内号码的合法性
六、小结:打造属于企业的核心数据资产
构建一个高质量的电话号码资源库,不是一次性任务,而是一个持续演进、不断迭代的数据工程。它的意义不仅是打电话或发短信,更在于构建企业自己的客户资产池,从而提升营销效率、降低转化成本、增强品牌竞争力。
如果你的企业还在依赖第三方买来的“冷号码”,不如现在就开始,搭建属于自己的、精准而合规的电话号码资源库,用数据赢得未来。
0 notes
helrunathesh614 · 9 months ago
Text
Telegram筛号软件
Telegram筛号软件
对软件有兴趣的朋友可以到 http://www.vst.tw 下载使用,也可以加飞机 @tw1111 联系客服.探讨Telegram筛号软件的影响与未来
在当今社交媒体的广泛应用下,隐私与信息安全成为了越来越受关注的话题。其中,Telegram作为一款受欢迎的即时通讯软件,不仅提供了加密聊天功能,还因其开放的API和Bot平台,衍生出了各种第三方应用与服务,包括筛号软件。
Telegram的筛号软件
筛号软件是指利用Telegram的API接口和机器人功能,帮助用户从大量的电话号码中筛选出有效的号码。这些软件通常被用于营销、社交媒体增长、甚至是诈骗活动。它们能够快速验证和识别大批量的电话号码,帮助用户高效地管理和利用这些信息。
影响与争议
筛号软件的出现带来了一系列影响与争议。首先,它们加速了信息的获取和传播速度,使得营销活动和社交网络增长变得更加高效。然而,这也引发了隐私保护和个人信息安全的担忧。大量的电话号码可能被不法分子利用于垃圾信息、诈骗甚至是更严重的犯罪活动。
其次,筛号软件的使用使得信息传播更加复杂和难以追踪。这给了那些试图逃避法律监管的人更多的空间,从而增加了打击此类活动的难度。
未来展望
面对筛号软件带来的挑战,社会和技术领域需要共同努力找到平衡点。一方面,技术公司和Telegram平台可以通过加强API接口的安全性和管控机制,来减少不法分子的滥用。另一方面,用户也需要加强自身的信息安全意识,避免个人信息泄露和被滥用的风险。
未来,随着技术的发展和法律的完善,筛号软件的合法性和使用范围将会更加明确。同时,社会对隐私保护和信息安全的重视程度也将不断提升,这将推动筛号软件及其使用者朝着更加规范和合法的方向发展。
总的来说,Telegram筛号软件作为社交媒体发展的一部分,既有促进信息传播与社交互动的积极作用,也面临着隐私保护与信息安全的挑战。唯有通过技术创新和社会监管的双重手段,才能够有效地平衡这些方面,实现社会和谐与可持续发展。
对软件有兴趣的朋友可以到 http://www.vst.tw 下载使用,也可以加飞机 @tw1111 联系客服.
0 notes
hellyshan5811 · 10 months ago
Text
Telegram筛号软件
Telegram筛号软件
对软件有兴趣的朋友可以到 http://www.vst.tw 下载使用,也可以加飞机 @tw1111 联系客服.探讨Telegram筛号软件的影响与未来
在当今社交媒体的广泛应用下,隐私与信息安全成为了越来越受关注的话题。其中,Telegram作为一款受欢迎的即时通讯软件,不仅提供了加密聊天功能,还因其开放的API和Bot平台,衍生出了各种第三方应用与服务,包括筛号软件。
Telegram的筛号软件
筛号软件是指利用Telegram的API接口和机器人功能,帮助用户从大量的电话号码中筛选出有效的号码。这些软件通常被用于营销、社交媒体增长、甚至是诈骗活动。它们能够快速验证和识别大批量的电话号码,帮助用户高效地管理和利用这些信息。
影响与争议
筛号软件的出现带来了一系列影响与争议。首先,它们加速了信息的获取和传播速度,使得营销活动和社交网络增长变得更加高效。然而,这也引发了隐私保护和个人信息安全的担忧。大量的电话号码可能被不法分子利用于垃圾信息、诈骗甚至是更严重的犯罪活动。
其次,筛号软件的使用使得信息传播更加复杂和难以追踪。这给了那些试图逃避法律监管的人更多的空间,从而增加了打击此类活动的难度。
未来展望
面对筛号软件带来的挑战,社会和技术领域需要共同努力找到平衡点。一方面,技术公司和Telegram平台可以通过加强API接口的安全性和管控机制,来减少不法分子的滥用。另一方面,用户也需要加强自身的信息安全意识,避免个人信息泄露和被滥用的风险。
未来,随着技术的发展和法律的完善,筛号软件的合法性和使用范围将会更加明确。同时,社会对隐私保护和信息安全的重视程度也将不断提升,这将推动筛号软件及其使用者朝着更加规范和合法的方向发展。
总的来说,Telegram筛号软件作为社交媒体发展的一部分,既有促进信息传播与社交互动的积极作用,也面临着隐私保护与信息安全的挑战。唯有通过技术创新和社会监管的双重手段,才能够有效地平衡这些方面,实现社会和谐与可持续发展。
对软件有兴趣的朋友可以到 http://www.vst.tw 下载使用,也可以加飞机 @tw1111 联系客服.
0 notes
Text
方法一:使用正则表达式
电话号码验证是确保通讯顺畅和数据质量的重要步骤。通过多种方法和工具,如手动验证、在线验证工具、正则表达式和API服务,可以有效地检查电话号码的有效性。在实际应用中,验证电话号码可以提高客户服务质量、提升营销活动成功率,并保持客户数据的准确性。希望本文为您提供了全面的电话号码验证指南,帮助您更好地理解和应用这一重要的验证工具,以提升业务效率和客户满意度。问无线网络是否有效 为什么要检查电话号码是否有效? 我们今天上午还在使用本科学位。我们试图联系朋友、家人或者同事时,我们会输入他们的电话号码。然而,有时候我们输入的号码可能会有误,导致失败。因此,确保电话号码的准确性对于保持有效沟通至关重要。 如何检查电话号码是否有效? 正则表达式是一种强大的 美国 WhatsApp 号码 工具,可以为我们有效地验证电话号码的节俭。以下是一个简单的正则表达式,用于检查电话号码是否为有效的美国电话号码: 方法二:使用第三方库 另一种方法是使用库,这些库通常更易于使用的API,以便我们能够查阅热点图。发布在文件夹中包括phonenumbers和libphonenumber。 方法三:手动验证 最后一种方法是手动验证电话号码。在分析中,我们需要检查号码是否符合特定的格式,例如国际号、国家代码等。虽然分析了各种繁琐的事务,但有时也是必要的。 结论 为确保号码的准确性,我们采取了多种方式进行查验电话号码,避免因号码丢失导致的沟通中断,希望我们能够帮助您重建查验电话号码的有效性。很久以前,在一个神秘的世界里,有一个古老的村庄,村庄里住着一个年轻而勇敢的姑娘叫做梅琳达。梅琳达是村庄里唯一的女勇士,她拥有一双明亮的眼睛和一颗善良的心。村庄里的人们都依赖着她,因为她总是乐于助人,无论是在战斗中还是在解决难题时。梅琳达的勇气和智慧让她成为了村庄的英雄。
有一天,村庄里的人们开始遇到了一个奇怪的问题——他们收到了一些来自陌生号码的神秘电话,电话里传来了一些威胁和诡异的声音。村庄的长老们决定寻求梅琳达的帮助,希望她能解决这个难题。梅琳达接受了挑战,她决定前往神秘的森林深处,寻找一位传说中的智者,希望能够从他那里得到解决问题的方法。
Tumblr media
在森林里,梅琳达遇到了许多危险和困难,但她并没有放弃。最终,她找到了智者的住所,智者告诉她,要解决这个问题,她需要找到一本古老的书籍,书籍中记载着如何检查电话号码的有效性。梅琳达听从了智者的建议,开始了她的冒险之旅。
在旅途中,梅琳达遇到了许多新朋友,也经历了许多挑战和考验。她学会了如何在森林中生存,如何与动物交流,还学会了许多关于勇气和智慧的教训。最终,她找到了那本古老的书籍,并从中学到了如何检查电话号码的有效性。回到村庄后,梅琳达利用她学到的知识,帮助村庄里的人们解决了电话诈骗的问题,成为了更加受人尊敬的英雄。
梅琳达的故事在村庄里被传颂了很久,她的勇气和智慧成为了村庄的传奇。从那以后,村庄里再也没有出现过电话诈骗的问题,而梅琳达也成为了村庄里的守护者,继续保护着村庄里的人们。itle: 电子邮件引擎:现代通信的驱动力
1 note · View note
senmer2013 · 5 years ago
Text
爬网预算:所有你需要知道的搜索引擎优化
Tumblr media Tumblr media
爬网预算是一个经常被误解的概念,通常在搜索引擎优化和数字营销社区讨论。 大多数人倾向于认为这是某种神奇的东西,你可以用它来“黑客”你的方式,谷歌的最高结果。 尽管所有的内容都是关于搜索引擎是如何工作的,尤其是爬行的过程,但市场营销人员和网站管理员似乎仍然对爬网预算的概念感到困惑。
Tumblr media
问题
对于搜索引擎的基本原理和搜索过程是如何工作的,人们显然缺乏了解。 这种现象会造成混乱,通常会导致商人所说的“闪亮物体综合症”,这基本上意味着如果不了解基本原理,营销人员的辨别能力就会下降,因此他们会盲目地听从任何人的建议
解决方案
本文将教你爬行的基本原理,以及如何使用它们来确定“爬网预算”是否是你应该关心的,以及它是否真的对你的业务/网站很重要。 您将学习以下内容:
搜索引擎的工作原理(简介)
爬行是怎么工作的
什么是爬网预算,它是如何运作的
如何跟踪和优化它
爬行的未来
我们开始吧。
定义
在我们深入研究爬行预算的概念及其含义之前,了解爬行过程是如何工作的以及它对搜索引擎意味着什么是很重要的。
搜索引擎的工作原理
根据谷歌的说法,搜索引擎从网页中生成结果有三个基本步骤:
爬网:网络爬虫访问公共可用的网页
索引:谷歌分析每个页面的内容并存储找到的信息
服务(和排名):当用户输入一个查询时,谷歌会从其索引中显示最相关的答案
没有抓取你的内容将不会被索引,因此它不会出现在谷歌。
Tumblr media
爬行过程的细节
谷歌在其关于爬行和索引的文档中指出:
“爬网过程从一系列网址开始,爬虫程序使用这些网站上的链接来发现其他网页。该软件特别关注新网站,现有网站的变化和死链接。计算机程序确定要爬网的站点、从每个站点获取的页面的频率和数量。“
这对搜索引擎优化意味着什么,
爬虫程序使用站点上的链接来发现其他页面。(网站的内部链接结构至关重要。)
爬虫程序优先考虑新站点、现有站点的更改和死链接
一个自动化的过程决定了哪些站点需要爬网,多久一次,以及Google将获取多少页面
爬网过程受托管能力(服务器资源和带宽)的影响
正如你所看到的,考虑到网络的规模,对搜索引擎来说,爬网是一个复杂而昂贵的过程。 如果没有一个有效的爬行过程,谷歌将无法“组织世界上的信息,并使其普及和有用” 但是,谷歌如何保证有效的爬行, 通过优先考虑页面和资源。 对谷歌来说,几乎不可能,而且成本高昂。 现在我们了解了爬行过程的工作原理,让我们更深入地了解爬行预算的概念。
什么是爬网预算
爬网预算是爬网程序设置在某一时间段内爬网的页数。 一旦你的预算用完,网络爬虫将停止访问你的网站内容,并转移到其他网站。 每个网站的爬网预算是不同的,你的网站的爬网预算是由谷歌自动建立的。 搜索引擎使用各种各样的因素来确定你的站点分配了多少预算。 一般来说,谷歌在分配爬网预算时使用的四个主要因素是:
站点大小:较大的站点需要更多的爬网预算
服务器设置:站点的性能和加载时间可能会影响分配给它的预算
更新频率:你多久更新一次内容,谷歌将优先考虑定期更新的内容
链接:内部链接结构和死链接
虽然爬行相关的问题确实会阻止Google访问站点最关键的内容,但重要的是要了解爬网频率是一个质量指标而不是。 让你的网站更频繁的爬网并不能帮助你更好的排名。如果你的内容达不到观众的标准,它就不会吸引新用户。这是不会改变谷歌机器人爬行你的网站更频繁。 (虽然爬行对于进入结果是必要的,但它不是排名信号。)
爬行预算是如何运作的
关于爬网预算是如何运作的,我们所掌握的大部分信息都来自谷歌网站管理员中心博客加里·伊利斯的一篇文章。 在这篇文章中,Illyes强调:
爬网预算不应该是大多数出版商必须担心的事情
如果一个站点的url少于几千个,大多数时候它都会被高效地爬网
Tumblr media
为了更好地理解爬网预算,您需要了解以下关键概念。
爬网速率限制
谷歌知道,如果不小心,它的机器人会对网站施加严重的限制,因此他们有控制机制,以保证他们的爬虫程序只访问一个网站,只要是该网站的可持续性。 爬网速率限制可以帮助谷歌确定网站的爬网预算。 下面是它的工作原理
谷歌机器人会抓取一个网站
机器人将推送站点的服务器,并查看它如何响应
然后Googlebot会降低或提高这个限制
英文网站优化网站所有者也可以在Google搜索控制台中通过打开您的属性的爬网率设置页面来更改限制。
Tumblr media
爬网需求
Googlebot还考虑了任何特定URL从索引本身获得的需求,以确定它应该是主动的还是被动的。 决定爬网需求的两个重要因素是:
URL流行度:热门页面将比不常用的页面更频繁地被编入索引
过时:谷歌的系统将防止过时的网址,并将有利于最新的内容
Google主要使用这些爬网速率限制和爬网需求来确定Googlebot可以和想要爬网的url数量(爬网预算)。
影响爬网预算的因素
在你的站点上有大量的低值url会对站点的爬网能力产生负面影响。 像无限滚动、重复内容和垃圾邮件这样的事情将大大降低网站的爬行潜力。 以下是影响网站爬网预算的关键因素列表。
服务器和宿主安装程序
谷歌考虑每个网站的稳定性。 Googlebot不会持续爬网一个不断崩溃的网站。
分面导航和会话标识符
如果你的网站有很��动态页面,它可能会导致动态url和可访问性问题。 这些问题将阻止谷歌在你的网站上索引更多的页面。
重复的内容
复制可能是一个大问题,因为它不能为谷歌用户提供价值。
低质量内容和垃圾邮件
爬虫也会降低你的预算,如果它看到你的网站上有很大一部分内容是低质量或垃圾邮件。
渲染
渲染期间提出的网络请求可能会计入爬网预算。 不确定渲染是什么, 它是用来自api和/或数据库的数据填充页面的过程。 它有助于谷歌更好地了解你的网站的布局和/或结构。
如何跟踪爬网预算
由于新的搜索控制台隐藏了大多数遗留报告,因此很难计算和监视当前的爬网预算。 另外,对于很多人来说,服务器日志的概念听起来非常技术化 以下是两种常用的监控爬网预算的方法。
谷歌搜索控制台
步骤1:转到搜索控制台>传统工具和报告>爬网统计
Tumblr media
第2步:访问Crawl Stats报告,了解Googlebot过去90天的活动情况。(你能看到任何图案吗?)
Tumblr media
服务器日志
服务器日志存储对Web服务器的每个请求。 每次用户或Googlebot访问您的站点时,都会将一个日志条目添加到访问日志文件中。 当Googlebot访问你的网站时,它会在你的访问日志文件中留下一个条目。 您可以手动或自动分析此日志文件,以查看Googlebot访问您的网站的频率。 有商业日志分析器可以做到这一点,他们帮助你获得谷歌机器人在你的网站上做什么的相关信息。 服务器日志分析报告将显示:
你的网站被爬网的频率
哪些页面是Googlebot访问最多的
bot遇到的错误类型
下面是最流行的日志分析工具列表。 SEMrush日志文件分析器
Tumblr media
搜索引擎优化日志文件分析器由尖叫蛙
Tumblr media
OnCrawl日志分析仪
Tumblr media
黑特公司的Botlogs
Tumblr media
SEOlyzer公司
Tumblr media
如何优化爬网预算
到目前为止,我希望你知道优化爬网预算是更重要的大型网站。
1、优先考虑爬网的内容和时间
你应该总是优先考虑那些为你的最终用户提供真正价值的页面。 下面是如何通过整合来自Google分析和搜索控制台的数据来找到这些url。
Tumblr media
网页产生点击和收入应该很容易为爬虫访问。 有时,创建一个单独的XML站点地图(包括或您的关键页面)是一个好主意(稍后将详细介绍)
2、确定承载站点的服务器可以分配多少资源
下载服务器日志文件并使用上面提到的工具之一来识别模式和潜在问题 下面是SEMrush日志文件分析器的一个示例
Tumblr media Tumblr media
您的最终目标应该是了解Googlebot对当前服务器设置的影响。
3、优化页面
XML站点地图优化 在你的站点中创建多个按URL类型或部分分类的站点地图(例如。,产品.xml,博客-邮政编码.xml等等)。 这将帮助您控制对站点上最有价值的部分的爬网过程。
Tumblr media
更新频率 确保每次更新内容时都通知谷歌。 您可以通过英文网站优化结构化数据、XML站点地图甚至eTag来实现这一点。 低质量内容、垃圾邮件和重复内容 通过删除低质量、重复内容和/或垃圾邮件来清理网站。 链接问题 从一页到另一页的链接对于爬行过程仍然非常重要, 每个网站都应该定期修复错误的重定向、404错误和重定向链。 在机器人.txt优化 你可以优化你的机器人.txt通过从爬网过程中排除无价值的URL或文件(如内部分析或聊天机器人程序)来创建文件。 不要从Googlebot中排除有用或重要的源代码(即呈现特定页面所需的CSS文件)。
爬行过程是如何改变的
谷歌和爬网过程都是随着时间的推移而发展的。 以下是我们在过去几年中经历的最重要变化的概述。
移动优先索引
2018年3月,谷歌开始优先考虑整个网络的移动内容,并将其索引从桌面优先更新为移动先行,试图改善用户在移动设备上的体验。 随着这一转变,谷歌的桌面机器人被智能手机Googlebot取代,成为主要的爬虫程序。 谷歌最初宣布,从2020年9月开始,所有网站将改用移动第一索引。 由于一些问题,这一日期被推迟到2021年3月。 当切换完成后,大部分搜索爬行将由谷歌的移动智能手机用户代理完成。
降低Googlebot的爬行速度
对于在爬网过程中遇到严重服务器问题或不必要成本的网站,谷歌允许降低爬网率。 他们的开发者文档有一个新的指南。
Tumblr media
爬行的未来
正如kevinindig指出的,有迹象表明,Google访问web内容的方式有可能从爬行转向索引api。
从移动优先到人工智能优先
2017年,谷歌CEO Sundar Pichai宣布从搜索和组织世界信息向人工智能和机器学习过渡。 这种转变将在所有产品和平台上实施 Google搜索已经在使用不同类型的机器学习(即BERT)来支持和提高对人类语言、排名算法和搜索结果页面的理解。 对机器学习和人工智能程序的大量投资将使谷歌能够为高度个性化的搜索结果页面获得更好的预测模型。 (请注意,谷歌人工智能开发的大多数应用程序都是纯机器学习应用程序和狭义人工智能。) 有了一个能够基于多个数据点(即位置、搜索历史、实体喜好等)对网站进行排名的精确预测模型,当前的爬行过程将变得多余,因为搜索引擎将能够以有限的输入提供良好的输出。 换句话说,谷歌不需要搜索整个网络,只需要为用户搜索相关网站。 谷歌已经在对此进行测试。 在一篇名为《商业网络内容预测性爬行》(Predictive Crawling for Commercial Web Content)的论文中,你可以看到他们是如何创建一个机器学习系统的,该系统能够通过预测谷歌购物电子商务网站的价格变化来优化爬行来源。
网络越爬越难
Tumblr media
随着互联网上近20亿个网站的出现,对谷歌来说,对内容进行抓取和索引已经成为一个具有挑战性且成本高昂的过程。 如果网络继续以这种速度增长,谷歌将更容易控制搜索的索引和排名过程。 在不浪费资源的情况下拒绝垃圾或低质量的网页谷歌将大大改善其运营。 在未来,谷歌可能需要缩小其索引的大小,以优先考虑质量,并确保其结果是相关的和有用的。
谷歌和必应都有索引API
这两家公司都开发了工具,你可以在网站更新时通知他们。 索引API旨���提供对站点内容的即时爬网、索引和发现。
Tumblr media Tumblr media
结束语
爬网预算-作为一个概念和潜在的优化指标-是相关的和有用的特定类型的网站。 在不久的将来,随着谷歌不断地为用户开发和测试新的解决方案,爬行预算的想法可能会改变甚至消失。 坚持基本原则,优先考虑为最终用户创造价值的活动。
森摩尔网络从2013年开始做外贸网站的SEO推广服务,到现在已经7年多了。我们已经为上千个人和企业提供外贸网站的优化推广服务,客户遍及全国各地���我们的服务深受客户好评!如果您有外贸网站需要推广,请联系我们,我们会提供专业、快速的额服务!
Source: 爬网预算:所有你需要知道的搜索引擎优化
0 notes
lupbiy · 8 years ago
Text
2016,你最不应该错过的热门技术文章
本文首发在“美团点评技术团队”微信公众号,内容已覆盖截止至2017年1月23日最新的技术文章。
1955年3月15日,爱因斯坦给刚去世的密友Michele Besso家人的信中说:
“像我们这样信仰物理学的人都知道,过去、现在和未来之间的分别只不过是持久而顽固的幻觉。”
然而,临近岁末,我们这些普通人还是难以免俗地做一番回顾与展望。
算起来,“美团点评技术团队”这个公众号始自2014年9月,已经运营两年多了。
公众号对应的美团点评技术博客开始得更早,是2013年的12月。那时候,美团创立不到4年,千团大战还在如火如荼,美团酒旅和美团外卖都刚刚开始不久。
而现在,美团外卖今天刚刚宣布日订单突破900万,离美团酒旅按间夜数也已成为业界第一。
在美团点评,我们信仰耐心和坚持的力量,愿意持续去做一些正确、有积累、可能表面看上去不那么重要实则非常关键的事情。
正如美团联合创始人穆荣均在今年一次Hackathon上说的: “这个世界不缺乏有勇气的人,很多人都会想做各种惊天动地的事业。而最缺乏的,是耐心和坚持。”
技术博客和技术公众号正是耐心与坚持的结果。
从2013年的4篇文章开始,我们多年来一直坚持把团队在一线实践中获得的经验和思考写成文章,对外发布。
2016年,我们发表了55篇技术文章,终于实现了最初公司老大给我们提出的每周一篇的目标(耶!)。
让我们一起来倒数美团点评技术博客/公众号的年度Top 10(基于微信和博客网页浏览量统计数字,第10名也超过了1万,最高的接近3万),看看你是否错过了珠玑。
10. 大众点评支付渠道网关系统的实践之路 by 李力
2016年,美团和大众点评两大平台实现了非常高效的融合,原来一南一北两个技术团队也迅速实现了融合,大家互相学习,获益良多。我们公众号也非常高兴地增加了来自美团点评上海团队的给力作者群。
李力这篇文章的主题是一个高可用系统的演进,可以视为另一篇上海团队经验总结《高可用性系统在大众点评的实践与经验》的案例。由于是交易系统,要求更高。文中提出的针对故障渠道的fail-fast机制是亮点之一。
在美团点评,技术最重要的作用是解决���务问题。这也是我们整个博客和公众号的重点。2016年,这方面优秀的实战文章还有不少,包括新鲜出炉的《美团酒店直连产品数据一致性演进》,和9月上海技术沙龙上分析的《大促活动前团购系统流量预算和容量评估》(这篇文章的作者是今年两位女作者之一),还有一篇重量级的文章《美团点评业务风控系统构建经验》,介绍了美团点评的风控系统在与黑色产业斗争中的一些经验以及系统构建过程中的体会。
9. 深度剖析开源分布式监控CAT by 尤勇
CAT是美团点评在公司外应用最为广泛的开源项目,也是目前最优秀的开源分布式监控系统之一。本文作者是项目目前的负责人,在之前介绍性文章的基础上,对设计思路做了更加深入全面的剖析。
美团点评的监控体系中,在服务器端的CAT之上,还需要客户端监控,这就是美团外卖团队开发的《移动端性能监控方案Hertz》。
目前,美团点评在基础架构层面已经基本形成体系,除了CAT外,我们今年还介绍了《分布式会话跟踪系统架构设计与实践》。
明年,我们会陆续发表相关的技术文章,包括但不限于:高性能服务框架及服务治理演进、容器集群管理及弹性伸缩平台的设计与实践、大规模分布式KV存储系统、消息中间件设计与实践、分布式会话链跟踪系统设计与实践,等等。
8. Spark在美团的实践 by 曾林西 李雪蕤 秦思源 毕岩 黄忠
以日订单数计,美团点评已经成为中国第二大电子商务平台,底层大数据系统的支撑至关重要。而其中,Spark又发挥了核心作用。今年我们一共发布了4篇Spark相关的文章,而且有2篇都进入了Top 10,可见Spark的热度。本文通过多个项目以比较广的视角,介绍了Spark在各种场景的应用。
我们目前的实时计算平台同时接入了Storm和Spark Streaming,这方面推荐阅读《Spark Streaming + Elasticsearch构建App异常监控平台》和《Storm 的可靠性保证测试》。
大数据方面,Hadoop生态仍然是我们的基础平台,今年我们有两篇深入分析HDFS NameNode内存的文章:《HDFS NameNode内存全景》和《HDFS NameNode内存详解》,都是来自实战的经验之谈。
7. 美团外卖订单中心的演进 by 何轼
美团外卖3年从0到900万日订单,算是互联网发展历史上的一个奇迹。外卖的实时性非常强,在这样狂飙突进式发展的背后,技术是怎么支撑的,是很好的话题。本文以时间维度,系统地总结了订单核心系统的演进过程。
这只是外卖系统演进系列文章之一,2017年我们会邀请更多美团外卖的同学分享更多领域。
同样是订单系统,大众点评平台华蔚的《大众点评订单系统分库分表实践》分享了数据库切分实践;今天发表的文章《美团团购订单系统优化记》又介绍了团购系统的优化历程。
针对类似数据库问题,外卖团队自行研发了中间件,《MTDDL——美团点评分布式数据访问层中间件》。
10月的美团点评技术沙龙是数据库专题,其中《美团点评的DBProxy实践》介绍了DBA团队基于360的Atlas研发的数据库中间件MTAtlas,现如今已更名为DBProxy,正式开源啦~并且发布了新的博客《美团点评数据库中间件DBProxy开源》,内附开源地址以及开源后的新功能。《RDS平台介绍》讨论了MySQL自动化服务平台RDS,《美团数据库运维自动化系统构建之路》介绍了我们DBA自动化运维的演进。
6. CRM系统新思维 by 刘丁
刘丁是我们的老作者,特别善于思考和总结。他在负责美团点评广告部CRM系统开发的过程中,从如何帮助决策者的角度,对CRM这个企业信息系统的核心之一做了全面和深入的思考。在我看来,这篇文章其实不限于CRM,还很好地阐述了互联网+在技术上怎么落地。
各行各业现在都要拥抱互联网,本质上是数字化,而刘丁在本文中提出,数字化分为三个层次:标准化(你的业务概念、数据类型是否能够结构化?)、自动化(你的业务流程是否能规则化、编程化?)和智能化(运用算法来改进流程)。此外他还讨论了数字化最难的方面:组织保证,构建优秀的研发团队。
这些思考虽然还比较初步,但从无到有,弥足珍贵。
类似的,《数据驱动精准化营销在大众点评的实践》也很好地通过精准营销这个场景阐述了大数据如何具体落地。
5. Android热更新方案Robust by 吴坤、定旭、张梦
Android热更新是移动客户端技术的一个热点。Robust基于Google最新的Instant Run技术,与之前的方案相���兼容性更强而且实时生效。文章发表后引起了广泛关注,有好几个业界同行撰写了相关的文章和开源项目。
此外,2016年我们前端和移动端方面的文章还有: Android方面,《Android自定义Lint实践》讲述了我们如何定制Lint做代码静态检查,《如何构建Android MVVM 应用框架》则通过实际实现一个MVVM工具库(代码已经开源),分析了MVVM模式,《Android硬件加速原理与实现简介》介绍了GPU硬件加速技术,让软件开发者能够更好地了解硬件加速。
iOS方面,ReactiveCocoa(RAC)在美团点评应用广泛,在已有的多篇文章基础上,今年我们又发布了《ReactiveCocoa中潜在的内存泄漏及解决方案》和《ReactiveCocoa核心元素与信号流》。
除了RAC之外,近年来,FRP(Functional Reactive Programming,函数式响应式)思想通过RxJava、RxJS等库逐渐落地,美团点评的Android和Web团队也有较多应用。后续我们会组织相关的文章。
前端方面,Nodejs的Stream也是FRP的核心概念之一,邹斌的系列文章《Node.js Stream基础篇》、《进阶篇》和《实战篇》作了深入分析。《RestQL:现代化的 API 开发方式》介绍了技术学院研发组的一个数据操作工具,代码已经开源。
4. 常见性能优化策略的总结 by 晓明
每年我们都有几百位同学参加职级晋升答辩,其中必要的环节就包括总结自己的收获。邵晓明同学这篇文章就是他答辩资料的整理。虽然没有特别多高大上的内容,但来自一线总结,非常系统,也非常实用,是很好性能优化的学习资料。
对了,这篇文章是微信公众号上的浏览量冠军。
性能优化方面,另外还推荐大家阅读刘丁去年发表的《性能优化模式》,也是很系统的总结,理论范儿十足。
后端技术方面,2016年还有几篇很扎实的文章,都是相关主题少见的干货: 服务容错模式 分布式系统互斥性与幂等性问题的分析与解决 Cache应用中的服务过载案例研究
3. Spark性能优化指南——基础篇 by 李雪蕤
Spark虽然以快著称,但在实际使用中如果性能优化不当,反而会显得很慢。本文与姊妹篇《Spark性能优化指南——高��篇》一起介绍了整套的Spark调优方案,包括开发调优、资源调优、数据倾斜调优和shuffle调优。
2. Java 8系列之重新认识HashMap by 前利
本文是2016年一系列基础性文章的代表。美团点评技术栈主要是Java体系,从实战角度对Java语言、平台以及主流框架的深入研究是必不可少的。
同类的文章还有: 红黑树深入剖析及Java实现 Java NIO浅析 聊聊clean code Spring MVC注解故障追踪记 Java Hotspot G1 GC的一些关键技术
1. 消息队列设计精要 by 王烨
消息队列一直是后端技术的热门话题,而且优秀的设计与项目层出不穷。本文的优点是系统全面地介绍了消息队列设计的思路。
除了这篇热文外,刘丁的《分布式队列编程:模型、实战篇》和《分布式队列编程:优化篇》从更抽象的数据结构层面讨论了队列的实践,《高性能队列——Disruptor》介绍了LMAX开发的名动一时的开源队列项目,相得益彰。
2016年的Top 10可以说是目前技术关注点的缩影。
除此之外,还有几个重要方向不能忽视。
第一个是测试,为了提升我们自己的效率,自动化测试、模板、测试工具这些都是必须多多探索的方向。这方面的文章有5篇: 基于 KIF 的 iOS UI 自动化测试和持续集成(本文作者是另一位女同学) 移动App兼容性测试工具Spider 基于 Appium 的 Android UI 自动化测试 使用模板快速编写测试用例 从0到1构建美团压测工具
第二个是云计算,别忘了我们有专门的云计算公司——美团云。2016年团队太忙,只分享了块存储方面的实践:《分布式块存储系统Ursa的设计与实现》和《MGW-美团点评高性能四层负载均衡》。不用着急,我们的Docker平台、自研的对象存储系统都将出现在明年。
第三个是算法,包括算法的理论与实践,还有特征工程。这方面的文章有5篇: 外卖排序系统特征生产框架 Online Learning算法理论与实践 深入FFM原理与实践
人工智能现在成了最热的技术方向,我们刚刚结束的Hackathon大奖(三部小米赞助的MIX概念手机)也被智能中心的同学摘取了。估计明年会有更多深度学习(CNN、RNN、GAN……)和其他算法的文章涌现。
最后,还有很多2015年以及更早的常青树,获得了很多的访问量,有的甚至在总排行榜上遥遥领先。这充分证明,好的技术内容并不那么容易过时。 MySQL索引原理及慢查询优化 基于Flume的美团日志收集系统 美团Android自动化之旅——生成渠道包 美团Android DEX自动拆包及动态加载简介 机器学习中的数据清洗与特征处理综述 深入理解Objective-C:Category Kafka文件存储机制那些事 Quartz应用与集群原理分析 序列化和反序列化 美团O2O排序解决方案——线上篇
2017年,我们会有更加系统的选题策划,全面覆盖美团点评大前端、后台、系统、算法、测试、运维六大技术通道,还有餐饮、酒店旅游、到店综合、平台、广告、技术工程与数据平台、金融服务和企业平台各部门技术团队。
2017年,我们会保持每周至少两篇技术实践文章的节奏,除了每月线下技术沙龙之外,还会定期举行线上技术直播,并把这些内容转成文章,分享给无法到场的读者。
2017年,值得期待。
1 note · View note
360pano-blog1 · 8 years ago
Text
比特币和区块链这对欢喜冤家的前世今生
I. 一段货币交易的历史回顾
1. 货币交易的历史
自从人类历史诞生以来,我们的祖先们为���生存下来开始不断的进行原始生产和和交易活动,商品和货币的概念就是在这种情况下慢慢的发展起来。起初人们为了方便商品交易使用石头,树叶,贝壳等等,后来为了方便储存,进化成使用金银铜来进行交易。但是由于这些金属太重了,携带起来不太方便,人类就发明了纸币,它大大方便了储存,携带,同时具有保值和交易的属性,现代金融的背景就是在这种情况下慢慢发展起来的。
2. 二战后美国的霸权崛起
二战期间,由于美国工业飞速发展,战后又是战胜国,国内的实体经济工业基础基本上没有受到什么破坏,导致基本上形成了以美元资本主义为霸权的政治核心,相对比的是以苏联为领导的社会主义阵营,它奠定了两极世界的政治格局,形成了当时的冷战思维。
3. 美元金本位历史
在当时的历史背景下,1944年7月的布雷顿森林体系��议得以实施,在基本思想指导下,主要国家同意他们的货币与美元挂钩,美元开始和黄金挂钩(当时叫美金)。 这样的话,国际上就基本达成了以美元为核心的资本主义贸易货币体系。 但是后来因为美元危机,美国经济的问题以及金本位的各种内在矛盾,在1971年尼克松政府宣告结束金本位制度。
4. 一次次的金融危机和通货膨胀
因为美元不再和黄金挂钩,美国政府可以在经济危机救市和政府财政预算上来进行量化宽松动作,简单的来说就是免费印钞票。由于这些钱不是正常经济生产出来的,所以通常被称为热钱,它某种程度上增加了通货膨胀的压力。 在1929, 1962, 1972,2000年的金融危机和互联网泡沫后几乎都出现过通货膨胀的情况,很多经济学家把这种现象跟政府发行的过量货币关联起来,批评政府这种不负责任的行为。
5. 2008年的导火线
2008年的经济危机导火线是次贷和衍生产品的投机取巧,美国政府担心市场的恐慌心理继续蔓延下去而造成的经济持续衰退,通过联储局陆续在短短几年内进行了几轮的量化宽松,在金融市场上注入了几万亿的货币流动性,这不可避免的给未来的通货膨胀造成了巨大的压力,这些后遗症也会慢慢的反应在市场的金融产品泡沫中。
6. 民众对通货膨胀的反应
自从信用货币诞生以来,民众对政府盲目发行货币的行为比较反感,认为它直接影响到了每一个消费者的商品购买力能力。多数人普遍认为适当的通胀是可以接受的,反之亦然。在这种背景下,社会上一些有思想的进步人士就开始思考怎么利用科技来替代部分货币的一些可行性方法尝试,这种思想的启蒙为比特币的发展打开了一扇通往自由的乌托邦净土。
II. 比特币的前世今生
1. 今本聪的乌托邦思想
今本聪传说是比特币的创始人,但是网上关于他的很多信息到目前都无从得知。根据某维基解密文件,他是一个无政府主义者,他希望建立一个不用受政府管制,去中心化,开放式的点对点互联网加密货币,拥有这种货币的人可以在网上展开匿名化交易,而且交易费用几乎等于0,速度特别快。
他在2019年开发了原始的比特币点对点开源软件,后来在2010年把这个软件移交给社区的其他开发成员,接着就听说再也没有他的消息了。据说他在开发软件前期,对于比特币的挖矿机制,共识认证,通货膨胀货币发行控制,预防黑客攻击,交易速度,可扩展性等问题上都有详细的思考和解决方案,这里由于文章篇幅关系,就不做过多解释了。
2. 比特币的诞生
1) 比特币是什么(BITCOIN)
BIT 就是电脑进行运算的一个单一字节,COIN 就是虚拟货币的意思,它大体上可以代替纸币在网上进行加密交易。它是一组大概有34个复杂的加密数字组成的字节,比如这个比特币虚拟钱包地址 ‘1K7A6wsyxj6fThtMYcNu6X8bLbnNKovgtP’。 基本上这种数字加密组合是很难被破解的,网上一些被破解的案例都是由于某个平台粗心大意的操作而导致的,跟比特币的加密数字被破解是2个概念。还有,就算加密数字有可能被破解,因为去中心化的原理,它没有中心,所以也只是针对某个单一的钱包被破解,不过目前好像还没有听说过。至于人们怎么保存他们的钱包地址,目前网上有很多方法和攻略,这里就不便详细解释了。 值得一提的是,据说未来的量子计算技术有可能破解比特币的加密算法,但是未来的比特币加密技术也会不断的升级。
所以,比特币钱包的概念就是一组加密的电脑字节数字组合,如果别人要给你打钱,那么他需要下载一个安全的比特币钱包,然后把比特币转到钱包里面去,再从钱包里面输入对方的钱包地址,这样就完成转账操作了。 记住,每次转账都会产生一笔微量的费用来作为矿工核对账本的奖励。
2)比特币主要优势:
-转账费用非常低
-速度相对比传统的银行快很多,特别是国际转账,目前是平均每秒转账3-4次。
-具有加密和一定的匿名效果
-因为没有中心代理商,所以具有不可逆转的交易性质,它巧妙的转移了传统商业交易的信誉问题。
-虚拟货币是一组加密数字的生成,大大降低了纸币的印刷成本。
-21,000,000发行上限,所以很多人认为它可以防止通胀压力。
-如果比特币价格稳定的话,很多互联网软件行业也许会使用它来交易。
3)比特币潜在缺点:
-尽管转账速度比银行快,但是对于未来的互联网金融来说还是太慢了。
-匿名还是可以被追踪和调查的
-信誉只在互相认识并且信任的交易中存在,一旦交易,就没有办法逆转。不像传统交易,如果出现什么问题,银行作为中间人可以帮你解决。
-21,000,000 发行上限,由于后面存在9个小数点,所以防止通胀的说法也有一定争议。
-目前实际商家应用还很少。 尽管微软,亚马逊已经部分支持了比特币的支付使用。但是主流社会还远远没有到位,未来比特币的真正价值在于有多少实际的商业支付应用。
-其他虚拟货币的崛起,在技术和应用方面对比特币形成了竞争压力。
-矿工的共识机制由于使用太多的能源,它包括产房,计算硬件,电力,管理人员等等,这给比特币的后续发展带来压力。 如果价格回落,矿工也许就会出现盈利困难,导致他们有可能放弃比特币的认证工作,这样的话比特币账目的转账速度会更慢,出现后续发展乏力问题。
-目前比特币区块链的共识机制太慢,软件更新如果跟不上进度的话,也会阻碍比特币的后续发展,或者被其他的虚拟货币赶上,比如以太网。
-尽管目前还没有明显的被黑客攻击案例,但是未来也不排除这种情况出现。还有如果很多用户对虚拟钱包进行不正确的操作,那么被攻击的可能性就会加大,因为绝大部分的投资者对比特币后面的区块链技术了解甚少。
  3. 比特币支持者的信仰
早期的比特币支持者主要有3种人。他们是社区开发者,矿工和投资者。开发者主要的工作是维护开源软件,制定未来升级方案,开会讨论等等。矿工是比特币系统里面非常重要的一个团体,因为他们的算法能力如果超过51%的话,就可以控制软件的代码,开发方向,货币发行量等等。 他们的工作就是买设备,认证比特币的每笔交易和加永久时间戳,然后根据比特币的虚拟货币生成协议来给他们计算量的工作奖励。早期由于比特币生成的比例比较多,所以矿工的工作是相对盈利的,但是现在由于计算难度的增加,货币生成速度的缓慢,很多矿工的盈利出现困难。如果再加上价格回落的话,基本上很多矿工会出现亏损的可能。 最后一种人就是投资者,大部分的投资者对区块链技术是小白的状态,对投资也是一知半解,基本是处于跟风的状态,眼见比特币价格一天天往上突破,心动就加入了这个投机浪潮,据说连很多中国大妈也进场了。 实际上如果早期进场的话,也许有盈利的机会,目前我觉得价格已经偏高,风险很大,投资者应该理性,避免被其他庄家割肉的可能。 还有的风险就是,由于市场缺少监管,我怀疑有部分价格被操控的行为来迷惑投资者,建议后面投资者进场要十分小心,通常明智的做法是,不懂的不玩,免的被套牢。
这3种人中间,特别是早期的加入支持者,大部分在思想上是乌托邦的,支持理性思考,有一点无政府主义倾向,所以比特币的发明对他们很有吸引力,纷纷都加入到这个革命性的金融实验浪潮里面来。比特币到底是乌托邦还是潘多拉魔盒,一旦打开之后就再也关不上了,这个问题很多人都在问,但是目前没有确定的答案,我想还是留给未来做决定吧!
  4. 比特币的技术分析
1)工作量证明
为了对区块链账本进行有效认证,加快转账速度,矿工需要使用特别计算硬件来对每个支付进行认证加时间戳,这个认证是不可更改的,将永远留在区块链上面,然后系统根据协议生成的比特币来给矿工作为奖励激励。它的缺点是特别浪费计算资源,开发团队未来也许会考虑使用权益共识的协议来进行认证。从价值层面来说,目前比特币的潜在价值就是矿工时间,劳动成本和资源的投入。
Nvidia 是一家生产图像计算晶片的公司,同时也生产比特币的挖矿晶片,它作为比特币的挖矿相关产业,因为巨大的挖矿晶片需求也推升了自家的股票价格。 值得一提的是,它也是一家主流的人工智能晶片生产商。
2)挖矿到底是什么意思
和传统的挖矿概念不同,这里的挖矿指的是矿工使用特别计算硬件来对每个支付进行认证加时间戳的劳动量成本。比特币系统根据协议支付一定的比特币作为挖矿的工作奖励。
3)发行量原理
为了预防传统的通货膨胀压力,比特币的发行量封顶是21000000个,但是每个比特币的小数点可以延伸到后面9位数,这样看来的话最后数字也是很大的,所以它具有某种和通胀相同的概念。
4)比特币帐本
它是区块链的概念和技术,所有的虚拟货币本质上后面都是区块链技术,区块链应该理解为账本链。传统的转账中间人是银行来确定每笔的合法交易,虚拟货币的交易有区块链作为中间人来记录交易,后面的逻辑就是各种认证共识,智能合约概念等等。
  5. 比特币是通胀还是通缩呢
由于上面解释的发行量原理,比特币到底是通胀还是通缩很难定义,这取决于每个人看事情的角度和最后比特币的价格。
传统定义通胀的原因由于是政府多发行了货币,导致物价上涨,造成通胀的原因。但是这点在金融界也有一定争议,比如巴菲特的导师本杰明·格雷厄姆就曾在他的书里说过事实上美国历史通胀的物价上涨并没有想象中的那么高,也许还有其他的原因导致了通胀。另外必须说明的是,由于民众害怕通胀对于美元购买力的影响,触发了他们想要把钱投资在股市上来避免通胀带来的影响,这间接的表现出股票的价格通常是过热的一个主要原因。
  6. 比特币解决了商业中最重要的信任问题吗
这个问题目前基本上具有争议。
比特币的操作方法是直接转移掉了交易信任的这个部分,因为如果买家向卖家支付比特币,一旦支付,由于币不可以被赎回,具有一定匿名效果,这就迫使买家必须尽快作出决定,然后承当相应的风险。所以从严格意义上来讲,它并没有完全替代互联网领域交易支付相互信任的问题。
比特币支付信任问题的一些争议:
1)它需要一个中间代理人来解决支付的问题,这个代理人可以是电脑智能程序,或者是一个真的人。
2)信任只存在于互相知道的朋友,商业伙伴中间。如果跟不认识的人做交易,那么风险还是存在的。
3)执法机构还是可以通过比特币的交易平台查出非法交易行为,所以匿名性也是相对的。
4)通过记录在区块链上不可篡改的交易评论也许可以增加信任行为,但是跟传统的线上交易一样,这种评论也可以被人为的操纵和买卖。
  7. 比特币可以被黑客攻击吗
理论上是可以的,但是基本上非常困难。
传统的中心化网络一旦被黑客攻击,造成的影响是大量的数据流失。但是由于比特币是去中心化,点对点,分布式的,所以黑客只能攻击一个电脑的节点,也就是说就算某个节点被黑客成功攻击,那失去的也就是那一个节点,而不是整个数据中心,而且系统会很快的再复制一个新的合法节点出来,这样的话就大大增加了黑客攻击的时间和资源成本,一旦成本超过利益,那这个买卖注定是只赔不赚的。
另外一点必须强调的是比特币的挖矿认证共识机制,如果全球有超过51%的矿工达成共识,那么在理论上他们是可以联合在一起来改变比特币的游戏规则,或者生成更多的比特币出来(目前上限是21,000,000)。 问题是人的普遍行为心理是受到奖励机制动机的约束,也就是说这样做的后果是好还是坏。假设这些矿工联合起来改变底层代码结构,让系统自动生成更多的比特币出来,那么这个系统的道德底线就会崩塌,投资者不再相信它未来发展的合法性而弃之而去,也就意味着市场的价格暴跌,其结果是得不偿失的。 所以从中可以看出很多事情背后都有它的一定逻辑推理和理性思维。
  8. 无中生有的比特币投资市场
由于比特币拥有一定颠覆性的技术,大量的投机噱头,比如相似的货币性质,投资商品,区块链,去中心化,快速支付,微量交易费等等这些特征都注定了比特币的诞生就是不平凡的。很多投资人刚开始并没有敏锐的察觉到这个技术带来的颠覆性金融创新,但是随着不断的媒体报道和价格不断的往上做突破,倒逼很多人开始正视研究这个领域和后面的区块链技术。绝大部份人得到的认知结果是区块链式具有金融创新特质,比特币是区块链的第一个项目,也许未来会有更多的的人关注,投资的金额会不断的增加,伴随着各种利好的爆炸性信息,最后带来的是一轮轮的非理性投资热潮。很多投资人都知道价格不可能一直这样疯狂的上涨,但这里面不乏有炒作者,媒体,投资大咖,交易员,VC,金融机构,小白,大妈等等,这些人由于知识结构和经验的差异化,进场的心态也是不太一样的。当然,目的都是为了套利赚钱,都希望在退潮的时候可以精准退出,而不是成为最后的牺牲者。问题是,这个世界是聪明人的游戏,当这些聪明人进场把这个游戏看透之后,他们制定了一套套的赌博规则,有几个具有理性思维的人可以斗得过他们呢? 所以,最后进场晚的小白和大妈们,是否注定成为被收割的菲菜呢? 这里我觉得需要读者的理性思考,世上没有白吃的午餐,机会是留给准备好的人。
  9. 打不死的小强
目前在这种投机环境气氛下,部分媒体和金融大咖都跳出来批评比特币的泡沫现象,当每次出现负面言论的时候,比特币的价格就可能下降,但是过几天后就会��归正常。在我看来,比特币的价格是有泡沫的现象,但是需要指出的是,比特币具有金融创新和后面的区块链技术,它又是第一个起来的项目,价格也许慢慢的会回归理性,可是它基本上是打不死的小强。 另外更重要的是要了解人性在股票市场上的基本运作经验,从百年股票历史来看的话就很明显了,由于人心的贪婪在驱动着,历史上股票市场不断出现新高泡沫,然后价格迅速回顾理性,之后又开始炒作,这种人心的微妙变化在股票的价格中反映无疑。比特币在短期之内,也会遵循同样的演化规律,早期的投资者已经在这个市场上赚到钱了,他们不会轻易的放弃这个机会,所以还会投机参与新的项目,目前离场是不太可能的事情。人类心理的参与感也在发生着作用,一个事情如果你投入了太多的时间和资源,除非是市场发生巨大变化,他们是不会轻易放弃的,因为离场就意味着以前所做的努力前功尽弃,这种痛苦离开的心理成本是很多人不愿意面对的。
比特币的经济学,心理投机动力正在不断的演化着,后面还有很多正面的,负面的事情会发生,所以基本上它是不会死掉的。未来的价格如何,主要取决于很多其他的因素,比如主流市场的支付使用率。
  10. 比特币投资和庞氏骗局的区别
很多不明白比特币的人把它看成是传统的金融庞氏骗局,实际上这2种商业在技术和投资上都有一些差别,它们在本质上是不一样的。
定义庞氏骗局:这种投机模式也在不断的变化和创新,以前的话就是收人头,卖产品。近年来由于互联网和支付的创新,很多庞氏骗局已经开始通过互联网的理财产品来忽悠大众了。庞氏骗局尽管在商业模式,产品销售上千变万化,但是想要理解它也是非常简单的,只要从金钱的奖励模式来入手研究就可以看的很清楚。如果一家公司赚来的钱不是通过市场消费者,而是通过分红制度奖励来招募会员,然后奖励的钱大多数是通过招募会员而来的,销售产品根本不是重点,那么这家公司基本就可以定性为庞氏骗局的公司。这种公司都是以树状结构的奖励制度来分红,通过招募不断来壮大组织,最后就是他们强大的培训系统,让每个怀疑的人慢慢的转化成忠实的信徒。必须提出是,由于这些公司自己开发的网站和奖励系统,所以很有可能连在账号里面显示的钱都是假的,最后如果公司倒闭,这些钱是不能够通过银行来兑现的。
比特币不是通过买卖产品,也不是通过招募方式来赚钱的。比特币账号里面赚到的钱是真实的,它可以随时通过银行来兑现成现金。比特币后面的区块链技术是创新的,和以上的传销庞氏骗局有着本质的不同。
  11. 商家在使用比特币吗
这个问题很重要,所有关注比特币价格的人都有必要了解。比特币未来的稳定价格取决于能不能被主流市场所接受,也就是说,有多少真正的商家愿意接受它来作为支付手段。目前由于价格具有普遍泡沫倾向,所以很多商家是不愿意接受的。
目前的主流商家有,Bing,Amazon gift card,Overstock, PayPal, Reddit等等。 详细名单参考这里 https://www.coinbase.com/clients?locale=en-US
  12. 目前比特币的主要用途
1)软件
微软已经开始接受比特币作为他们的一些网上云服务,API等等。我相信还有其他互联网软件公司慢慢也会接受比特币来作为支付服务。
2)游戏币
游戏类型的币对于比特币来说绝对是绝配,目前 Unikrn, enjin 这2家游戏公司已经开始使用他们自己的区块链货币来开发游戏系统。
3)礼卷
大多数的礼卷公司已经接受比特币支付了,比如 cardcash.com。
4)各类网上服务
只要是与互联网相关的虚拟产品服务都有可能接受比特币来作为支付手段。典型的例子就是早些时间的 Wannacry 病毒勒索,黑客指明了要比特币来作为支付赎金。
5)转账
国际转账是个巨大的市场,传统的有西联,moneygram, 很多人通过这种服务寄钱给在远在家乡的家人,问题是手续费比较贵,然后程序也比较繁琐。 Abra.com这家公司针对解决这些问题通过比特币来作为国际转账支付手段,好处是它的手续费低廉,速度也比较快,这家公司的目标就是要颠覆传统的西联垄断。
6)成人网站
成人网站基本上可以用虚拟货币作为支付手段,所以我预测很多公司会在不远的将接受比特币支付服务。
7)黑市交易
前段时间比特币的黑市交易特别盛行,网上的各种暗网使用比特币来交易各种黑市商品,其中比较出名的就是 Alphabay, 后来被美国联邦警察给打掉了。 听说因为这个原因,美国的FBI手里掌握着百万以上的比特币。
这些暗网不能正常访问,它们躲在互联网的海底深处,访问的用户需要通过特定的代理工具才可以浏览这些网站,因为里面很多交易的商品都是非法的,比如毒品,枪支,色情等等,所以后来被FBI调查,导致了最后的关闭。
8)洗钱
由于很多的钱是见不得光的,估计有不少人通过比特币来间接从事洗钱活动。很多人认为比特币是匿名的,所以想用它来洗钱。 但我觉得这种方法还是很危险的,因为比特币也是可以通过一定手段来追踪到最后的金钱来源。
9)内容创作奖励
我注意到很多内容制造者都想通过比特币的捐赠来支持他们的内容,以前的话都是通过 Paypal 来进行的,目前这个方向有很大的改变。做法就是如果你支持我的内容,你可以通过比特币给我的虚拟钱包地址打钱。
10)投资者之间的转账
如果双方都拥有比特币和虚拟钱包,那么互相之间的转账是很容易的。
11)投资
如果有拥有比特币,那么你可以换成任何其他的虚拟货币来投资在其上的区块链创业项目上面,当然回报率怎样那要看你的眼光和行业考察能力,可能风险等等。
  13. 各大���府对比特币的态度
目前中国是完全取缔比特币交易的,韩国政府的态度也比较强硬,好像也要取缔。日本的话基本支持,还给各类交易发放了牌照。美国政府的话不好说,立场比较模糊,但是他们会坚决取缔和打压一切非法融资和交易行为,比如目前的一些ICO造假项目已经被特别照顾了。 对于ICO,美国政府也发布了一系列的投资行为规范,比如发行项目是否有证劵特征,如果有的话,必须被监管。正常的比特币投资交易所还是被允许的,比如COINBASE, 这家由矽谷联合投资的公司就得到了纽约州的比特币交易执照。
基本上美国的法律精神就是,在合理的情况下,你可以从事创新和投资活动,但是任何人不能制造假消息来忽悠投资人和迷惑市场,这种行为是会被打击的。
我们可以合理推理,如果一个政府会取缔比特币,那么接下来的ICO融资也有可能被取缔。中国和韩国政府就是这么干的。
  14. 比特币可能的投资风险
1)市场普遍存在造假,操控价格的现象。
2)目前价格太高了
3)普遍投资人对比特币发展历史,交易和后面的区块链技术没有什么深入了解。
4)目前后续技术存在很多困难,比如转账速度太慢了。
5)市场存在着很多其他币的竞争对手,比如说以太网的团队就是从比特币里面分裂出来的,以太网的技术是以开发去中心化APP为主的,它更加具有创新和可扩展性精神。
  15. 比特币几个术语的解释
1)Hard Fork 硬分叉:
由于比特币目前交易速度开始出现疲软,所以软件需要升级,假设软件升级分支出来一个新的区块,它有着比原来的区块更多的算法能力,然后这2个区块分别工作在2条不同的区块链上,我们通常就称为是硬分叉升级。比特币之前出现的隔离见证升级就是一个硬分叉的升级,它同时出现2个区块,新的区块就是比特币区块,旧的区块变成比特币现金币,代号是BCC, 所以目前比特币有2种币在市场上交易。
2)Soft Fork 软分叉:
这跟硬分叉是基本相反的逻辑。系统因为同样原因需要升级成2条不同的区块,但是它们都在同一条链上进行算法工作,旧的区块算力少,系统不认可,新的区块算力多,得到系统的认可。
3)SegWit 隔離見證:
同样的原因,由于比特币区块容量太小,影响了交易记录的速度,所以系统需要升级成2个区块,旧的区块维持在1MB容量, 新的区块增加了3MB的容量,然后把原来的交易地址,金额,交易信息等等转移到新的区块,这样做可以提高比特币原来区块的容量和交易速度。这种升级就叫隔离见证。
当95%的網路算力都支持它的时候,隔離見證就會被启动。
隔离见证同时也可以区别为以上的2种不同分叉。
4)Lightning Network 閃電網絡:
它在隔离见证的基础之外,再增加一个网络来处理小微支付的交易, 也就是说把原来比特币区块链上一些小金额的交易,转移到新增之外的网络来进行交易,之后再记录到原来的区块链上面。这个新的方法也会加速交易的速度,所以把它称为闪电网络。
用一个简单的方法理解: 假设原来的公路开始足够负荷一个城市的运输系统,但是由于这个城市的经济不断发展,它需要将原来的公路改造成成高速公路,后来这个高速公路也超负荷了, 所以必须在另外一个地点再架一条高速公路来支持不断发展的经济需求。
III. 比特币的加持者-底层核心是区块链技术
1. 区块链技术是什么
它应该被理解为账本,未来的万物商业账本,它具有可扩展性,点对点,分布式,去中心化(避免了黑客集中攻击), 可复制性,快速支付,几乎为零的交易费,自我生成的货币系统等等。 我们也可以把它理解为一个具有普遍性质的分布式加密数据库管理。每一个新生成的交易区块就是一个数据库中心,这个中心又不断的和其他区块中心连在一起,形成一个没有中心服务器的一个强大的数据库管理系统。
比特币区块链的中心思想应该是开源的,没有一个绝对的中心,它由不同的协议组成,比如货币生成协议,挖矿协议,权益认证协议等等。任何人都不能篡改这个开源软件,除非得到整个系统51%以上的投票支持共识,所以说它具有一定的民主性质。如果有人想要控制51%的投票,那要取决于它的奖励动机,通常控制这个软件之后也许并不会出现决定性的奖励,所以就算从理论上可以控制这个系统,但是目前却没有人这么做。 至于这个问题,据说聪明的中本聪在开发的时候就已经意识到了。
  2. 区块链技术可能的颠覆性商业应用
1)银行和支付
目前主流的商业银行都在布局区块链技术,比如 Citibank 要发行自己的虚拟货币叫 Citicoin, Ripple.com这家公司的技术就是支持商业银行直接快速的转账服务。
2)网络隐私
中心化的问题是如果服务器一旦被攻击,那么你的信息将不可避免地被泄漏。前段时间的 Equifax.com 信用卡个人信息被黑客攻击就是一个典型的例子。区块链的去中心化可以让黑客没有办法攻击到中心,这大大增加了攻击的成本,所有的加密用户数据永久存储在区块链上面,根据协议,只有相关的人可以访问相关的数据。
3)万物互联
未来通过传感器把各种设备连接起来,然后通过区块链把数据记录在网上让相关的人访问,这样的话大大增加了访问数据的效率和便捷性。试想一下你可以在任何地方访问到你家里的任何设备运行情况,也可以在区块链上监控这些设备,这是多么酷的一件事情啊。
4)共享经济
未来的区块链商业也许会对目前的 UBER 和 AIRBNB 产生冲击,去中心化的共享经济会产生一定的经济效果,的士司机和打车者通过共享点对点软件来交互商业活动,好评和支付信息被永久保存在区块链上面,新的消费者可以通过这些评论数据来决定是否接受服务。目前以色列有一家公司开发的打车区块链服务叫 lazooz.org 已经开始宣告向UBER发起冲击了。 未来怎么样,我们谁也不知道,让我们拭目以待吧。
5)分布式搜索
谷歌本质上是一家数据工具,它靠用户的海量搜索数据和互联网上产生的数据来为自己从事广告商业服务,他们的广告盈利模式号称是一本万利的永动印钞机。你的很多数据基本上都在谷歌那里,如果中心服务器一旦被攻击,那么你的个人信息就会被泄漏。还有,用户的信息经过一些智能检索后是有价值的,很多互联网公司可以靠着这些大数据来支持他们的盈利模式。 分布式,去中心化搜索就是在这种背景下诞生的,它基本上保护用户的信息很难被中心攻击,然后你还有权利访问和管理自己在区块链上面的信息。目前有一家公司叫 Bitclave.com, 他们已经在这个方面开始发力了。
6)智能合约
智能合约是区块链技术的核心,传统的合约是通过一个中间代理人来执行的, 比如律师,法官,产权代理人等等。那么智能合约就取代了这个代理人的工作,在一定电脑程序算法的控制下,程序根据一定的条件来执行。比如,如果A没有执行一个特定条件,那么智能合约也许就会终止这个交易,反之亦然。 目前很多区块链的项目都是建立在智能合约的技术上来经营他们的商业模式, 它可以应用在保险,商业合约,转账,支付等等上面。
目前主流是以太币算法来支持智能合约的开发。
7)能源管理
不管是家庭能源还是公司能源,都可以通过区块链来进行管理和销售。 据说 powerledger.io 正在从事这个方面的商业创新。
8)医疗数据加密分享
通过区块链来管理,加密,分布访问病人的医疗信息也是未来的一个可能性商业趋势。医生可以设置谁可以访问特定区块的信息,病人的简历等等。
9)网上电子商务
电子商务可以通过区块链虚拟货币来进行快速支付,记录用户的信用记录,交易记录等等。
  3. 为什么它可能会改变未来的金融技术(FinTech)
现代金融的3大问题是,转账速度慢,费用较高,中心化被攻击的可能性较高。传统的银行转账需要通过不同银行网络,支付终端,如果国际的话还要通过 SWIFT 来进行支付,这中间所消耗的时间和人力成本都是可观的, 利用区块链的话就可以大大的减少这些成本。 目前主流的商业银行都在布局这项技术,比如其中著名的机构叫做 R3, 它是由70个世界最大的商业银行组成,他们的目的就是研究和发展区块链技术,总部在纽约,在2014年成立。
  4. 金融机构的预谋和倒戈
以上所讲的70大商业银行,他们研究区块链的技术就是为了防止自己的商业利益未来被这项新技术所颠覆。问题是当他们掌握这项区块链技术后,它会是完全去中心化的吗? 还是会改变里面的一些协议,然后又变相的成为中心化的商业模式? 历史上人类对于去中心化的努力并没有停止过,但是一旦涉及的是权力和利益关系,这些银行和政府又怎么可能轻易的放弃呢,他们有绝对的资源优势来赢得这场战争,最后让这项技术继续为既得利益者服务。 所以我对完全去中心化的技术革命持怀疑态度,至少在几十年内不太可能发生。
  5. 去中心化真的有你想象的这么好吗
我们都知道面对任何创新,应该不能只看到优点。 任何事情应该都有它的两面性。去中心化看起来很美好,但是如果我们稍微思考下,我想它还是有缺陷的。
1)去中心化的利:
它满足了一部分人对于政府的权力,互联网公司对于数据控制的恐惧心态,如果可以一定程度去中心化的话,他们认为可以重新拥有自由,隐私,以及公平的商业竞争机会。其中的虚拟货币也是一个亮点,它迎合了当前人类社会对于通胀的一些恐惧心理。
2)去中心化的弊:
如果一个商业完全去中心化了,那么意味着很多普通的人得为他们的行为负责,也意味着资源的合理分配问题。我们知道一个中心化的系统是被社会的专家和精英在管理着,这些人已经通过了层层考验而爬到了金字塔顶端,那么他们的学问,智慧和经验都是普通人无法比拟的。如果一个系统完全被一些平庸之辈来负责管理,那么我们也有充分理由怀疑这个系统是否可以完全被优化来达到经济成本的最大效益。
  IV. 以太网的崛起
1. 比特币的魔咒
比特币在早期发展的过程中由于并没有考虑到开发者的利益,所以它并不能让这些编程者在上面自由的开发自己的项目,这就意味着比特币后续的可扩展性问题。针对这个弊端,比特币早期的团队中间有人提出比特币底层开发者的升级版本,但是并没有被团队采纳,后来其中的一个18岁天才少年和几个人跳出来开发了新的项目,它就叫 以太网,这个年轻人的名字叫 Vitalik Buterin.
2. 以太网又是什么
以太网是对比特币的一些弊端的修正和创新。它是为开发者量声定制的,目前很多的 DAPPs(去中心化APP)和 ICO 的项目都在使用以太币的底层协议来开发。开发者可以利用它的 ERC20 协议来开发新的币种,也可以抽象使用它的智能合约协议,然后自定义变成适合自己项目的智能合约。
3. 以太网的创新
1)从挖矿工作量证明到权益证明
以太网刚开始的时候和比特币是一样的,它也采用了相同的挖矿机制,但是由于太浪费资源了,所以团队公布会在2017年底更新成为 权益证明(proof of stake), 这种机制放弃了传统挖矿认证的做法,采用以每个以太网投资者所拥有的币的多少标准来进行认证,然后给予相应的奖励。具体的理论比较复杂,建议自己去研究一下。
2)以太网的货币发行机制
它的发行机制和比特币有点不太一样,比特币封顶是21000000,但是以太网的币发行量截止到今天 10/03/2107 已经到了 94,938,906, 说明以太币的通胀率是相对比特币高的。自从2014年发行以来,它大概每年发行的比例是25%,每年币的发行量封顶是18000000。 但是由于2017年底可能会采用权益证明机制,所以有可能以后每年发行的币比例会逐年减少。
因为目前以太币的数量几倍多于比特币,所以它价格上涨的速度有可能相对慢。当然还有很多其他的原因,这需要聪明的投资者自己去研究琢磨。
3)不断增加的可开发性协议技术
因为以太币是为去中心化商业应用来量身定制的,所以我们不难预测将来随着技术的发展,以太币的团队会有更多可扩展性的协议技术被开发出来,主要的目的就是为了更好的迎合开发者和商业应用的需求,这方面的技术升级对于未来的整个区块链发展是很重要的一个闭环,对区块链商业有兴趣的朋友都应该密切关注这一块可扩展性技术的发展。
4)以太网是图灵完备的编程语言
这就意味着它具有图灵机的功能,能做到几乎图灵机能做到的所有事情。只要给它足够的数据,它都能够计算出来结果。这其中就包含了程序的无限循环和递归计算。以太币的智能合约就是一个图灵完备的算法,相对于比特币的话就不是图灵完备的。
  V. ICO-它到底是人类的一次疯狂套利,还是伟大的金融创新
1. ICO是什么
ICO 全名叫 Initial Coin Offering(初始货币发行), 它是一种基于区块链商业模式的一种创新融资方法,它要求融资的项目必须是区块链的,去中心化的,开源代码的,利用虚拟货币的发行来进行商业行为。但是目前由于这个融资模式的盛行,很多不是区块链的项目也在巧妙的化妆术之下来从事ICO融资,这给投资市场带来了巨大的困惑,很多不理智的投资者争相进场来投资自己钟意的项目,问题是,又有几个项目最后会突围成功,这其中的风险还是很显而易见的。
  2. ICO野蛮的三板斧金融创新
它之所以这么疯狂,不是没有原因的,而是在融资上相比传统的3种方法有了跨越性的创新。
1)天使投资
它避开了天使投资繁琐的路演和演讲兜售自己项目的难处,天使投资人也会拥有公司大部分的原始股,造成后续股本的不断稀释,ICO项目基本上缓解了这些融资的压力。
2)众筹项目
天使投资后, 市场上出现了创新的众筹融资模式,大众投资的钱并不能在二级市场交易,一旦项目失败的话,这些投资的钱就打水漂了。ICO的话,用户投资的虚拟币可以在二级市场交易,如果项目价格合理的话,他们就有可能在交易的过程中套利。
3)IPO(股票市场处始发行)
我们都知道正常的股票市场发行是很困难的,你必须要证明公司的经营历史, 财务报表盈利状况,商业模式,接受政府的监管,还要和靠谱的投行合作来发行你的股票。ICO基本上避开了这一系列的麻烦,任何公司只要声称使用区块链技术,拥有成熟的营销能力就可以发行自己的虚拟货币来融资。但是如果一旦被发现造假,发布虚假信息,那么就很有可能被政府取缔,甚至坐牢。 目前由于ICO正在风口浪尖上,政府相关部门在时刻关注着这些项目的融资情况和后续发展。
  3. 人性贪婪的心理学经验
我们从股票的百年历史就可以看出,任何新的投机项目和技术的出现,都会吸引一大堆潜在套利投资者的注意力,人们一窝蜂的会把钱投资在这个领域,心里时刻盘算着自己不是最后的一个接盘侠。 1995年至2001年間的互联网泡沫就是一面典型的镜子,告诉我们投机泡沫会产生的深远效果。很多人把目前比特币的泡沫比喻成是2000年发生的互联网泡沫的前奏,他们普遍认为比特币正在巨大的泡沫中,警惕投资者要注意入场的风险。
但是聪明的投资者也许另有算盘,经过了多年的投资经历,也许他们早以知道了怎么在这个市场的博弈中套利,利用人性的心理弱点制造各种利好的假象,每次当越来越多的人跳进来的时候,也许就是他们收割的时机。
  4. 以太网和ICO的共生关系
目前几乎所有的ICO项目都是用以太网的底层技术来开发的,ICO的虚拟货币也是由 ERC20 的协议来发行的, 所有ICO的融资基本上都是用以太币来完成交易的,这也许对以太币的价格是利好的消息,但是由于以太币的发行量比例目前还不太明朗,已发行流通的币又相对比特币多,所以到底价格会上涨多少是很难预测的, 这取决于未来技术的延伸和货币发行量的减少。
如果大部分ICO的项目被政府叫停,那么以太网的需求量就会减少,从而会表现在价格的压力上,出现下滑的情况。
  5. ICO对以太网技术的倒逼
由于大多数ICO都是使用以太网技术,这会对以太网的底层技术支持形成倒逼的一个过程,那么以太网的团队就要不断的升级它的技术和协议等其他可扩展性的特点来满足ICO项目的需求,这样的话会形成一种良性的共生关系,ICO项目越多,需求的以太币就越多,对于以太网的技术升级就越迫切。 当然,任何时候都不要忘记了投资的风险。
  6. VC投资人的心理变化
很多风险投资人面对ICO的崛起,起初也是属于观望状态的,但是随着ICO的不断发展壮大,我估计有一部风的VC会进入这个领域来博弈和套利。因为他们有更多的投资基金,因此ICO项目给予他们的优惠相对比一般的投资者会优惠很多。 目前已经知道的VC投资人进场的有:百度的投资人 Tim Draper, 小牛队的老板 Mark Cuban 等等. 值得关注的是,绝大部分的资金背后都有科技公司的背景,比如谷歌风投就投资了著名的Coinbase.com, 详细资料可以查看这个网页 https://www.coindesk.com/bitcoin-venture-capital/。
  7. ICO投资的风险
1)政府监管
假设你找到一家成熟的公司,有着自己的现金流,可观的用户数量,有前景的商业模式,合理的价格,小型的市值,你会觉得这是一个理想的投资机会。问题是它存在政府监管的问题,所以我觉得就算你找到了这样的公司,还是有一定的风险。如果你所处的国家政府一旦宣布这是个非法的融资项目,那么你的投资就存在着巨大风险。目前中国已经全面禁止ICO融资了,据说韩国也在跟进。
美国政府的态度比较暧昧,SEC(证劵监管局)已经在官方网站里面发布了对于ICO投资的风险警告,也许他们针对的是欺诈的项目,至于合理的公司所进行的虚拟货币融资会出现什么监管,目前我们不得而知,所以必须强调这方面给投资者带来的风险分析。
2)营造出来的市场价格
很多ICO的交易是没有受到法律监管的,所以我们不得不怀疑背后会有人在操控价格,或者通过一些非法的交易来提高价格,制造假象让普通的投资者入场而成为牺牲品。
3)价格泡沫
很多项目并没有实际的商业模式,这些项目通常只需要一个网页,白皮书和一个想法就来融资,所以价格过热都是投机行为造成的,后面进场的人,一旦泡沫破裂,就会导致被套牢。
4)套利的套路
市场上的大盘庄主有可能通过不断操控价格的波动来进行一波波的套利行为,这给不理智的投资者带来巨大的困惑和经济的亏损。
5)公司倒闭
绝大多数的ICO公司注定是要倒闭或者套利跑路的,所以投资这些项目的投资者必须制定好退出的策略来避免最后由于公司倒闭血本无归的伤害。
6)出来混还是要还的
老祖宗的智慧早已告诉我们一些普遍的道理,物极必反,30年河东30年河西。股票市场如果一直是非理性的,那么它迟早都是要恢复到理性的价格,所以如果市场价格过高了,后面进场的就存在着巨大的风险。如果前面进场���投资者已经赚到了可观的利润,那么就要控制住自己贪婪的心态,尽早清场套现一部分的资金来降低自己的风险。万物的演化都遵循着一定的规律,我认为股票市场从某种层度来讲也不列外。
7)理性回归商业本质
当我们分析股票价格的时候,我们应该要思考的是这些钱是从哪里来的,ICO项目的未来利润应该从市场上赚来的,而不是投资人的热钱堆积起来的, 投资过高的价格就存在着风险。 所以我们除了分析股票的价格和投机行为外,我们应该更多的分析公司的基本面,比如盈利模式,产品, 资产负债表, 未来至少10年的现金流,团队,商业模式的变化,政府大环境等等。
VI. 对于这次区块链金融革命的一些思考
1. 为什么颠覆总在不起眼的角落
当一家公司很小的时候,几乎没有人会关注到它。但是如果它具有一切扩张的潜力和特质,加上天时地利人和,它就有可能从角落里慢慢壮大,等到对手注意到的时候有可能已经是庞然大物了。 它拥有着驯服用户习惯的基因,不断升级的能力,充足的现金流,等到对手发现它可能的威胁后想要阻止也许已经太迟了。用户习惯和市场一旦形成,再追赶就很难了,它不是简单的设计一款同样的程序和产品就能解决的问题,后面反映的是一系列的市场先决条件和团队的执行力,再加上一点点的运气。
由于互联网技术的快速传播效应,一旦一家公司掌握一定的市场和用户,那么它就有可能对其他竞争对手形成威胁,甚至慢慢升级和延伸到其他行业,变成一定市场规模垄断的一家公司。
以早期的腾讯QQ为例,它当时还是很小的聊天软件,主打即时通讯交友市场,与它打对手戏的是微软的MSN。 当年的微软是何等的霸气,根本没有把腾讯放在眼里,后来据说腾讯的轻奇兵打法发生了奇效,他们根据客服的回馈反应,快速开发了一系列用户喜欢的聊天功能。 反观微软的话,由于刚开始并没有正视这个像蚂蚁一样的对手,加上公司太大而导致行政的拖累,并没有快速反应市场的需求,最后兵败如山倒。 后来的事情大家都知道了,腾讯不断壮大,而MSN渐渐的退出了即时通讯聊天市场。
另外一个典型的例子就是亚马逊,它从卖书起家,起初的一些大型书店并没有太在意,后来因为亚马逊的技术不断成熟壮大之后就开始让传统的书店比如 Barnes & Noble 感觉到了明显的竞争。 亚马逊优质的购物体验,便宜的价格,免费的物流等等这些特点都给传统的书店构成了巨大的威胁。可怕的是,亚马逊已经慢慢不再是一家卖书的公司了,通过不断升级开发新的零售业务,它目前几乎垄断了一部分的美国零售市场,对于实体经济来说打击还是很大的。 美国政府有些官员批评亚马逊的商业模式损害了实体零售店的业务,对美国经济和税收构成了负面的效果。
区块链也是一项具有前景的技术,很多公司都在投资和布局这个技术,未来也许会颠覆掉一些传统的商业和交易模式。
  2. 科学技术为什么总是以颠覆和创新的在迭代
由于科学技术不断发展,商业模式不断创新,很多企业家都知道大多数的科技公司活不过10年这个说法。旧的不去,新的不来,当一个企业家建立一个商业,带来创新并且享受巨额利润的时候,其他人就会虎视眈眈的盯着他盘中的这块肉。他们在实验室里面磨刀霍霍,随时准备着用新的技术来替代之前的商业模式,通过创新来改变用户习惯和消费行为,从而达到颠覆之前竞争对手的目的。如果你想创办一个常青藤的科技公司,那么从公司内部起就要不断的闹革命,只有通过不断创新来适应市场需求才有可能活的长久。
  3. 微软和反垄断法案的启示
当年网景 Netscape 的浏览器市场销售量如日中天,微软的 IE 在市场占有率中一直处于下风,微软后来被逼出了大招,由于当年微软的 Windows 几乎垄断了桌面的操作系统,它把 IE 浏览器和 Windows 捆绑在一起让用户下载,而且还是免费的。因为这个营销策略让微软的浏览器慢慢的在市场上占了上风,接着网景公司不服,一纸告到法院声称微软利用 Windows 的市场垄断优势进行了不正当的竞争,后来法院判了微软败诉并罚款,还差点导致了微软公司业务的一分为二。
后来为了避免垄断法的控诉,微软不会对小公司的竞争对手赶尽杀绝,通常都会留出一点市场份额让这些公司活下来。这种做法后来被证明时有好处的,它可以时刻的监控到这些公司的产品创新能力然后快速做出反应,同时也会启发到自己公司内部创新能力的思维模式。当一家公司变成巨无霸后,难免会产生官僚主义,缺乏创新精神,有小的竞争对手存在的话,就好比一根芒刺在背,它会不断的刺激公司的员工正视竞争对手的存在而不是以后可能被颠覆掉。
像 UBER 这样大的巨人,为了让公司更好的发展,他们应该要允许那些新成立的从事物流行业的区块链公司存在,这样的话可以不断的互相竞争,学习来升级彼此的创新能力,为消费者创造出更好的产品体验,这才是一个良性的市场竞争状态。
  4. 无刻不在的黑客博弈
虚拟货币由于没有受到政府的监管,也没有什么法律惩罚的犯罪成本,所以这个领域出现了很多黑客,他们会利用各种黑技术来对你的账号,钱包地址进行钓鱼活动,很多人因为操作的不当被黑了,由于没有中间人银行之类的监管,被黑之后的虚拟货币是没有办法拿回来的。作者本人就认识一个朋友,由于点击了一个钓鱼链接,访问了一个假的以太网钱包地址(真的钱包地址 Myetherwallet.com), 然后他输入了启动钱包的密码,因为网站是假的,这些行为都被记录下来了,所以账号里面的以太币就立刻被黑客转走了。
下面列出预防黑客的一些方法:
1)不要把任何密码储存在网上,或者任何云端服务上。
2)尽量使用信誉好的交易平台,不要把太多的虚拟货币放在这些平台里面,特别是中国的交易平台经常会被黑。我比较信任的比特币钱包是 coinbase.com,这些人后台硬,而且平台盈利能力强大,所以不太会从事不法的事情。
3)不要点击网上的任何链接,很多链接都是钓鱼的,通常虚拟钱包公司不会给你发邮件链接的。
4)注意你访问的网址,字母一定要是一样的,很多假的网址跟真的网址就差一个字母。
5)如果把密码存储在物理驱动器里面,也许会比较安全,但是转账的时候还是要小心。 最安全的就是把密码写在纸张上面。
6)电脑要安装杀毒软件,一旦被黑,黑客理论上可以看到你的一举一动,不过这种被黑情况不太容易发生。
7)不要安装远程服务的任何软件,比如 TeamViewer.
8)不要相信 Slack 聊天室里面的任何非官方公布的消息
9)不要让任何人看到你的加密钱包密码
10)访问任何公共网络 WIFI 的时候应该要小心,虽然这种被黑的概率很小。
11)尽量设置手机上面的第二层认证登录密码
12)尽量使用匿名的浏览器来访问虚拟货币网址和钱包
  5. 最后,虚拟货币浪潮不会退去
比特币厮杀的各方力量都在秘密的聚集着,虽然有很多负面的新闻,政府的取缔等等,当然也有很多正面的新闻。 随着越来越多的人深入的了解区块链技术,行业的不断升级,这种聚集起来的力量是巨大的,它也许隐藏着核聚变的反应。 所以比特币的投资浪潮是不会轻易退去的,但是也许价格会回归到更加的理性。
  VII. 参考资料
比特币问答: https://bitcoin.org/zh_CN/faq
比特币交易图: http://fiatleak.com/
以太网维基百科:
https://zh.wikipedia.org/wiki/以太坊
https://ethereum.org/ether
以太网 DAPPs https://www.stateofthedapps.com/
以太网白皮书
比特币书籍: 精通比特币
区块链书籍: 区块链革命
Node.js 区块链开发
区块链相关名词解释:
http://www.qukuaiwang.com.cn/news/2166.html
https://zhuanlan.zhihu.com/p/23249209
区块链相关名词汇总
比特币和区块链专家介绍:可以查看他们的演讲视频和撰写的书籍
Andreas M. Antonopoulos
Vitalik Buterin
Don Tapscott
Alex Tapscott
Tim Draper
声明:本文章内容只是作者自己的一些看法和判断,仅供参考。 正如写黑天鹅书的作者塔勒布所说的 “没有任何专家能够预测未来和股市,因为这里面有着太多的不可测变量”。
比特币和区块链这对欢喜冤家的前世今生
Click To Tweet
Tumblr media
  var hupso_services_c=new Array("twitter","facebook_like","google","pinterest","email","linkedin");var hupso_twitter_via = "visualpathy";var hupso_counters_lang = "en_US";var hupso_image_folder_url = "";var hupso_twitter_via="visualpathy";var hupso_url_c="";var hupso_title_c="比特币和区块链这对欢喜冤家的前世今生";
比特币和区块链这对欢喜冤家的前世今生 was originally published on
0 notes
geekgao · 6 years ago
Text
从 0 到 1 设计互联网风控安全架构
引言
黑产给不少互联网公司带来很大的业务损害。生存在互联网灰色地带的职业羊毛党,他们有组织有纪律维持一套完整产业链,利用一些大型互联网公司的运营规则甚至漏洞,套取各种补贴和奖金,他们少则月收入一两万,多则月赚几十万上百万。圈内有一句经典说法:薅上一天够吃一年。
作为一家互联网公司,线上开展业务面临不少的挑战,我们既要在基础设施层防范传统的黑客攻击,又要在业务层防范黑灰产攻击。本文将介绍和讲解业务层风控安全架构的设计过程。
通常具有一定规模的企业,可能配备了些许安全工程师,亦或是一支相对完整的安全团队,但是可能碍于业务发展阶段,他们只关注(组织目标的设定让其关注)基础设施、网络的安全。在业务上,可能还是由产品研发、运营、客服等各司其职,安全只在代码开发层面到发布交付这一链条上把控,其产品设计与业务策略未被安全流程所重视到。
可能有些公司认为,在安全方向上只应偏向于承担传统的企业安全 KPI,所以涉及设计、生产、运营环节均为被忽略。尽管作为甲方虽然是利益受害者,但是很多组织领导与业务相关个人可能不太理解传统安全与业务安全的的差异,因此也无法很有效的进行风控体系建设,在此简单帮大家梳理一下。
站在传统企业安全角度分析其特点:
IT 资产相对固定
业务变更不频繁
网络边界较为固定
IDC 规模不大
站在互联网业务安全角度分析其特点:
应对业务频繁发布和变更
多种业务分布式架构
在架构层面要求高可用、高性能、灵活的水平扩展能力
多 IDC 海量数据
共同特点:
准确性
即时性
灵活性
高对抗性
针业务安全特点,需要有针对性的设计安全方案,所以是既满足传统企业安全标准,又要符合互联网应用架构的要求。
背景
与业务要求的冲突
作为互联网电商企业,在经营过程中发现,很多黑产行径在事后被发现,但是在事前却缺乏防御手段。由于缺少相关安全设计,以及没有监控预警和相关机制防范黑产,风险敞口通常难以定位,每次营销活动都会有实质性资产损失。目前已知的黑产行径包括:
发垃圾信息
盗用户账户
价格欺诈
未授权的爬虫访问
待解决的问题
公司高管层面决定公司预备资源,加强对风控体系建设的投入。作为负责人,从头开始如何开展相关工作?作为架构师,如何来操盘核心系统架构设计?
解决思路
当明确了与业务要求的冲突后,便可以开展工作计划。从哪里入手,是很棘手的问题,这里笔者给出一种思路:
第一步:着手准备《业务干系人清单》,这个时候可以通过组织结构图来识别。
第二步:联系业务干系人进行访谈,访谈内容偏重于对方业务的 KPI 目标与遭遇到的痛点(最好可以拿到业务损失估值);对于业务数据也要有所掌握,例如业务日常、大促等特殊时期的 QPS、数据传输量、专线带宽等。
第三步:针对访谈得来的数据,进行汇总计算,制定风控系统的 KPI、预期能帮助公司业务减少的损失预估,目的是为向老板要资源。
与我们安全保障部有直接业务交集的部门如上图,通过梳理关联组织,就可以梳理出各个业务的干系人了。
假设,最终经过上述步骤,老板恩准后,申请得到的资源清单:
研发:3 人
测试:2 人
产品:1 人
运营:1 人(交叉汇报,隶属于客户运营团队)
数据分析:1 人
且不论精兵与否,至少人员岗位配备上而言算是满足基本要求了。万事开头总是难,我们只要不断的提升团队价值,相信就会有美好未来的发展。
对于风控业务开展,可以遵循下面的一般环节:
如图中框起来的几个设计阶段,分为业务方案设计、系统方案设计、系统细节设计、系统验收。
业务方案设计阶段: 要求整个项目的操盘人带领产品经理一起梳理、制定业务流程以及涉及到的制度规范和机制,理解业务问题点,��对业务方案进行定稿。
系统方案设计阶段: 要求产品经理、架构师结合业务目标完成系统框架设计与功能抽象。
系统细节设计阶段: 产品经理需要先完成系统细节方案的所有设计,包括建模、用户与权限设计、界面等。一般在完成了 PRD 评审后,才能进入到实际的技术开发周期中。
系统实施验收:项目操盘人、架构师与产品经理应贯彻验收前的流程,以确保验收可以顺利进行,这个过程通常难免会痛苦烦躁,但是又是考察产出成果的必经之路。系统上线后,还需要产品经理盯紧运营工作,对产生的各类业务数据进行分析。
业务方案设计
业务分析
在此过程,我们需要结合访谈得到了信息,划分出业务领域、分析出业务流程。
划分业务领域:通常有两种方式,即从客户出发或从产品出发。然而有的时候,面对新的制度和新的系统,很少有人能充分理解它的生产过程,尽管他们明白这套制度和系统的长远意义。但是我们的系统想要发挥出应有的价值,那就必须抱有服务精神尊重人性,例如未来接入这套体系的各业务方应是最低学习成本、最小打扰的方式,系统要具备健壮性不会轻易阻断业务方线上业务过程(影响人家 KPI,就是打破人家的饭碗)。虽然不是 toC 的互联网产品,但是也要重视用户的体验,尤其是操作体验、接入体验。
所以我们在划分业务领域的时候,更多的是要站在客户体验的角度来思考产品如何能更好的发挥应有的效果。例如,我们在设计阶段就应考虑到用户操作界面的复杂度、API 设计的友好性、风控 SDK 接入形式、文档丰富程度等。
通过《业务干系人清单》中相关干系人的访谈结果分析,整理出相关的核心业务领域(这很符合 “康威定律”):
决策引擎系统:风控体系的“大脑”,统一实时/准实时数据汇入、设备识别、风险特征匹配、数据统计等核心流程的运转。
情报系统:通过黑产经常活跃的社交网络、贴吧论坛、黑产 QQ 群等途径获取有价值的线索信息。丰富风控策略、也有利于案件库的积累。
数据监测中心:可通过数据大屏获取准实时的统计数据、风控事件、用户信用状况等信息报表,对业务风险有直观感知。
电审系统:作为重要的运营平台,可以对事件信息进行人工反查以及进一步核对认证,设置处罚状态、查阅操作日志等。
名单库:名单库也就是黑白名单,通过内部积累或其他合作渠道获取到的欺诈行为用户清单,例如手机号、IP 地址、身份证 ID。名单库的建设作为第一道基础防线,可以避免重复欺诈行为的发生。
风险库:风险库一般包括风险标签、敏感词库。通过对风险标签和敏感词库的维护,对抗手段日益变化的欺诈者。
案件库:风险事件处理结果的沉淀形成的资料库。
此阶段抽象出的业务核心流程主干:
业务主干的活动图:
分析业务流程
通常的流程是:识别业务风险点、确定数据源、选择数据、数据清洗、数据转换、分析数据、配置规则与建模。
识别业务风险点,我们需要识别业务可能的风险点,风险点通常在用户交互部分(引用安全圈著名名言:All Input Is Evil!)具体来讲,就是关键业务产生数据的地方,界面中用户表单、入站时的设备信息、GPS 位置、IP 地址等。
确定数据源,我们要收集的客户端数据通常来自不同的业务 Web 页或 APP 端。数据类别一般包括:交易数据、合同或账户数据、行为数据、访问请求数据等。
选择数据,我们需要选择与风险欺诈相关的数据作为整套风控系统的入参。
数据清洗,不排除来自前端数据的伪造和破坏,以及平台差异性或网络导致的数据丢失的现象。
数据转换,转换为风控系统所接受的结构化数据格式。通过相关的服务进行计算。
分析数据,系统输出的数据虽然经过过滤与规则或模型的判断,但依然会有未被规则所识别的异常行为,例如同一个 IP 地址在 5 分钟内访问密码找回页面高达 300 次。所以需要专家经验来分析判定。
配置规则与建模,通过专家分析判定后,修正或补充规则,或训练模型。
事前即风险发生前,我们需要识别业务可能的风险点,风险点通常在用户交互部分(比尔盖茨曰:All Input Is Evil!)具体来讲,就是关键业务界面中用户表单、入站时的设备信息、GPS 位置、IP 地址等。
数据分析
模型质量严重依赖于建模者的实践经验,很多系统分析、软件工程书籍上都有讲授相关技术。在此,不展开篇幅赘述,主要讲一下规则引擎相关的数据模型。
我们以决策引擎为例,构建系统的实体关系前,分析出五张核心表:会话表、设备信息表、设备指纹表、用户信息表、事件表。
会话表 负责存储原始的网络请求信息,一般包括来源 IP、Headers、请求参数、时间戳。
设备信息表 存储经过处理后的结构化的与设备相关的数据,例如操作系统、浏览器类型、字体列表等浏览器其他参数等。
设备指纹表 存储了设备 ID 与设备信息的映射关系。
用户信息表 包含了用户账户、用户评分、用户状态、场景、应用 ID 等记录。
事件表 包含了应用 ID、设备 ID、用户 ID、事件发生时 IP 地址、UA 信息、事件类型、操作系统类型等记录。
其他的系统的数据模型可以按照对应系统功能逻辑进行设计。
核心系统方案设计(以决策引擎为例)
我们这里提到的决策引擎,是借鉴于基于规则的专家系统,系统采用前向推理的演绎法进行推理,即从一个初始的事实出发,应用既定的规则得出结论(或执行指定的动作),并使用人类能理解的术语解释和证明它的推理结论。
大体上的结构,如图:
规则库:存储各类模拟人类求解问题的规则。 一条规则通常表示为:
IF:LHS (left-hand-side), THEN:RHS (right-hand-side)
LHS 包括一个或多个原子条件(又叫模式),条件之间通过 AND、OR 的逻辑关系进行组合。RHS 是满足所有这些条件(即触发规则)后要执行的动作(action)。
通俗点,用自然语言描述,有点像这样:
IF:(转出金额 > 2000 & 转出地址不是常用地址), THEN:(设置风险分值 + 50)
事实集:又叫做工作空间(Working Memory),存储了用于规则匹配的事实,包括初始事实与执行过程中产生的新事实。
推理引擎:将事实与规则相匹配,决定是否触发规则、触发哪些规则以及何时执行动作。推理引擎是规则引擎的核心部分,决定了规则引擎的工作效率。
这里,我们将采用开源的 RedHat Drools 作为规则引擎,以降低开发成本。
这里,我们打算将每条规则作为可计算项,累加分值后作为风险值。这里将 LHS 部分作为业务描述(如:交易时间、交易额、操作系统类型、IP 等字段),例如:
规则1: IF:(转出金额 > 2000 & 转出地址不是常用地址), THEN:(设置风险分值 + 50) 规则2: IF:(浏览器UA不是常见浏览器 || IP地址为异常IP), THEN:(设置风险分值 + 30)
不是所有 LHS 部分都可以取常用业务字段描述,有些字段可能需要进一步预处理与计算(如:用户常用地址、异常请求格式、异常 IP 等)。
实际的业务中,我们需要把上述规则的维护交给用户(即策略运营)。所以要产品经理根据用户操作习惯,构建用户界面。
为了满足源自不同业务的高并发调用和系统产生的大量数据,而且针对关联的各类系统,需要支撑海量数据查询的系统。基于此我们选择业界比较成熟的大数据技术架构方案:
如图所示,我们选型采用了消息中间件 Apache Kafka、关系型数据库 MySQL、高性能内存数据库 AeroSpike、非关系型分布式数据库 Hbase、分布式 NoSQL 数据库 Cassandra、集群运算框架 Spark。关于这些开源技术产品的具体特性,网上有大量的文章可以参考,不再赘述。
当外部业务数据达到我们的体系内(通过 REST API 或 RPC),第一个数据落地点是 Kafka,这么做确保了大量数据与我们核心系统组件(这里指规则引擎)之间的解耦。
Kafka 接收到消息后以消息订阅的方式对规则引擎系统提供数据,数据以不同的 topic 形式进行类型划分,系统用 topic 的形式进行与 Kafka 的消息对接。规则引擎从 Kafka 拉取数据后,将对数据进行预处理,读取 Aerospike 数据缓存中的数据,对时间窗口内相同的规则请求缓存后返回,降低计算时间开销,提升系统的计算性能。
当在决策引擎界面中 CRUD 规则或设置其他系统选项参数时,将规则、参数相关的数据存储到 MySQL 中,由于 MySQL 历史悠久且成熟,这种方式系统基础部分维护成本最低。
由于对业务数据需要进行大量的高速聚合计算,所以选择 HBase 进行的存储。通过 Spark 技术,例如 Spark Streamming 我们可以构建数据计算服务,进行实时/准实时流式处理,���算后的结果将被存储到结果库,我们这里采用 Cassandra 数据库,利用良好的吞吐能力和高度可扩展性,这样扛住大量的数据读写操作。
风险数据的查询,可通过 AeroSpike 查询的结果缓存。缓存未命中则读取 Cassandra 结果表。
由以上这些主流的技术构建数据 pipelines 确保技术复杂度可控、维护成本可控。
总结
很多诸如系统设计原则、高可用技术等概念等没有被涵盖进来,限于篇幅和主题,文章写得比较浅,只能挑风控安全架构的重点来讲。还请读者见谅。
0 notes
einverne · 7 years ago
Link
Google Maps 的故事已经讲到了第三篇。上一篇我们说到,Google Maps 发布之后,虽然一开始只有美国和加拿大两个国家,但仍然引发了如潮的关注。如果你没看过之前的,欢迎补课。
Keyhole,Google Maps 前传
Google Maps 的诞生
破解危机
Jonathan Rosenberg,1961 年出生,在芝加哥大学读了 MBA,在克莱蒙特 · 麦肯纳学院(美国顶级私立文理学院)获得了艺术学士学位。2002 年,他加入了 Google,依靠自己不凡的洞察力和前瞻眼光,主导了搜索、广告、Gmail 等多个项目的设计和开发工作。
2005 年的一天,Rosenberg 和同事打篮球。在球赛开始之前他说:
新发布的 Google Maps 很棒,不过还可以做得更好。我真正想要的是这样的地图:上面可以一眼看到本周末硅谷在售的所有房产,这些数据可以直接发到我的某个设备,然后我开车跟着导航直接去看房就好了。
那是在 2005 年,iPhone 还有 2 年才问世,Rosenberg 为什么会这么说呢?因为他看到了几个新玩意儿。
2004 年末,梦工厂的动画师 Paul Rademacher 想在湾区租一套价格合适的房子。他在 Craigslist 上搜了几个月,在地图上标出地点和价格,等周末再去现场看。他花了许多个周末,用了许多张地图,一直没有找到合适的房子。有一天他忽然想:
这办法太蠢了。应该有统一的地图,所有待租的房子都标在上面,我可以直接按地图来搜索,一目了然。
2005 年发布的 Google Maps 让 Rademacher 眼前一亮:这就是我想要的!于是他破解了 Google Maps 的前端代码,刨出了地图数据,再把 Craigslist 上的房产信息抓过来,按对应地理位置标注在地图上。
在 Google Maps 发布之后三天,housingmaps.com 就上线了。显然,Rademacher 不过是给 Google Maps 包了层皮,把房产信息都标上。从技术上说,这只是个小创意,但从用途上说,这是四两拨千斤的——从来没有人想过可以有这样直观的方式来维护和查看房产信息。当天晚上,湾区已经有几千人在使用这个网站查看房产信息。Google 也注意到了这个网站,在内部的邮件提及了它。
▲housingmap.com 的界面。来源:housingmap.com
第二天,Google Maps 的人又收到一封邮件。原来有个叫 Adrian Holovaty 的家伙,是个程序员兼音乐家,同样破解了 Google Maps 的代码,配合政府公开的犯罪记录,做出了另一个版本的 Google Maps:直接在地图上标出芝加哥地区的犯罪记录分布。这个网站叫 Chicagocrim.org。不用说,它也飞速传播开来,并连带出现了大量类似的项目。
▲chicagocrime.org 的界面。 来源:chicagocrime.org
「这样下去可不行!」 Google Maps 团队的 Bret 和 Jim 迅速意识到这点。Google Maps 的前端代码被破解,会对 Google Maps 的基础设施和数据造成巨大威胁,而且想要破解的人仍然如潮水般涌现。可在 Google Maps,他们完全不知道这些人是谁,从哪里来,想干什么。
对这种问题,Bret 和 Jim 不是一味封堵,而是想法疏浚,所以他们一边修复系统的漏洞,一边迅速拟定了官方的 Google Maps 服务,让开发者可以按照预定的方式方便地使用 Google Maps,同时有细致的文档可以参考。要使用此服务,开发者必须注册账号,签署协议,才能拿到访问令牌,这样就限制了恶意的滥用。
之前 Rosenberg 之所以会提那种要求,正是受到了这两个网站的启发。不过 Rosenberg 显然看得更远,在他的愿景里,地图不仅应该能标注,还应该可以和其它数据源交互,和其它设备交互。于是,2005 年 6 月,Google 正式发布了整套的 Maps API。
让 Keyhole 的人惊奇的是,Google Maps API 竟然是免费的。要知道,Keyhole 可是靠卖软件授权活下来的。如今 Google Maps 广受欢迎,基于它二次开发的程序和网站如雨后春笋一般涌现,怎么能免费呢?哪怕在注册协议里要求这些二次开发的网站必须把数据共享给 Google 也可以。按照当时的服务协议,Google 是在无偿地、单向地向大家提供数据。大好的商业机会,就这样被浪费了。
但是在这个问题上,佩奇、布林、梅姐、Bret 的意见都保持了一致。在 Keyhole 的人看来,Google 总是保持着一种「自由至上」的风气,故而 Bret 根本没想过让那些开发者跟 Google 共享数据。所以,即便 Yelp、Zillow、Trulia、Hotels.com 等等大受欢迎的网站,甚至包括后来流行的的 Uber、Lyft 都重度依赖 Google Maps,但 Google 并没有要求瓜分它们的利润。
因为,这不符合 Google 的精神。
今天看来,符合 Google 精神的,免费的 Google Maps API,其实是 Google 早期联系开发者、营造社群影响力的有力工具。毕竟,当时 Google 还只有搜索和 Gmail,虽然口碑都不错,但都不太可能通过 API 玩出花来。但是如今大红大紫的 Mashup(服务混搭),���念上其实是和早年 Google Maps 二次开发的那些网站共通的。
致命一击
2004 年 Google Maps 发布之后,地图服务迅速变得热门起来。微软、雅虎都在摩拳擦掌,准备杀入这一领域。
2005 年 3 月 28 日,《华尔街日报》发了一篇文章:在地图上,微软打算同场竞技。比尔 · 盖茨隐居了 7 天,读完了 300 页的报告,思考微软的未来。盖茨选出了未来的重点项目:Virtual Earth(虚拟地球)。按照这个项目的规划,未来的地图服务,会提供出行指引、交通路况、实时街景,还有其它很多信息。「我很看好它的前景」,盖茨如是说。
按照报道的说法,微软上下都很重视这个项目,包括研究部门在内的多个团队已经参与其中。
这份报道让 John 异常紧张。因为之前,Keyhole 的团队和微软打过交道。微软管理层的 Vic Gundotra 在微软内部演示过 Keyhole 的 EarthViewer,甚至在微软开发者活动上做过推销。Keyhole 之前还派人去过微软总部,为微软的操作系统专门优化 EarthViewer,所以微软的人对 EarthViewer 也很熟悉。
又过了两周,在华尔街日报的 Walt Mossberg 组织的 All Things Digital 的会议上,盖茨演示了 Virtual Earth 的 Demo。可是到了交流环节,前三个问题都是关于 Google Maps 的,只字不提 Virtual Earth。这让盖茨异常恼火,他当场发作了:
对对对,Google Maps 是完美无缺,放心让这泡沫继续膨胀吧。Google 的人什么都能干,所以别问 Google 的股价是多少,你们只管买就好了。
▲Virtual Earth 的界面。来源:Microsoft
而在 Google 内部,大家已经可以感受到压力。标着「加快」、「紧急」甚至是「全力配合」的邮件一封又一封地出现,预算已经很充足了,现在又加倍。人员飞速增长,Keyhole 刚加入时只有 29 个人,6 个月过去已经扩张到 200 人,新增人头的要求仍然获得了批准。
▲Google Earth 的界面。来源:Google
之前,John Hanke 一直处在比较尴尬的地位。名义上,他是 Keyhole 的总经理。但是 Google Maps 包含三个团队:Keyhole、Google Local、Where2 Tech。其中,Keyhole 汇报给 John,Google Local 汇报给梅姐(Marissa Mayer),Where2 Tech 汇报给 Bret(Bret 汇报给梅姐)。虽然汇报线很清楚,但合作起来总有些别扭,梅姐也一直没有放弃全面掌控地图团队的想法。
现在,John 和 Keyhole 团队看到了一个机会。
于是,他们根据自己在地图行业的经验和思考,写了若干邮件给布林、佩奇、施密特,阐述 Google Maps 的战略和战术。同时,John 根据对微软的报道,推断出微软和航空图片和卫星图片提供商之间的合作方式和价格,并评估了这些服务商的能力。按照 John 拟定的计划,Google 应当加速发布自己版本的 EarthViewer 软件,Keyhole、Google Local、Where2 Tech 三个团队必须合为一体,同时必须花大力气充实自己的数据,他同时也列出了重要的地图服务提供商的名单。
到 2005 年夏天,所有的 Google 员工都收到了一封邮件:Google 要新成立一条产品线 Google Geo,之前的 Keyhole, Google Local, Where2 Tech 三个团队悉数并入。John 成为这条新产品线的老大,之前 Keyhole 的工程副总裁 Brian McClendon,成了所有技术人员的汇报对象。John 的汇报对象是 Google 的产品战略副总裁 Jonathan Rosenberg。
之前一直困扰 John 的他和梅姐的关系问题,现在已经彻底不存在了,梅姐已经出局,纵然心有不甘,也无话可说。
按照 John 的说法,在这个决策过程中,Google 负责商务拓展的副总裁 Megan Smith(现任美国政府的 CTO)为 John 出了很多力。要知道,当年 Google 收购 Keyhole 就是 Megan 出面来谈的,在 Google IPO 之前,破例提前给 John 看 Google 财务状况的人也是 Megan。在成立 Google Geo 的决定过程中,负责人的另一个人选是 Bret。按照 John 的说法:“我觉得 Bret 当然是有能力的,但是还太嫩,大概就是这样。不管怎么说吧,最后,管理层决定让我来坐这个位子。”
不是所有人都欢迎这个决定。Bret、Jens、Lars,还有很多人,都不赞同这样,他们都认为是自己创建了 Google Maps。尤其是 Where2 Tech,他们两年前才凑齐四个人,过了不久,其中三个选择回到澳大利亚,虽然仍然在 Google,但已经脱离 Google Maps。
Google Earth 的诞生
虽然 Google Maps 大获成功,但这并不意味着要放弃 Keyhole 之前的客户端软件。相比浏览器里的地图,客户端软件至少有几个方面的优势是无可取代的:迅速的响应,流畅的体验,3D 地形展示功能,测距等 GIS 功能,本地数据的导入导出…… 所以,Google 仅有浏览器地图是不够的,还需要推出客户端地图:Google Earth。
Google Earth 可不是 EarthViewer 的简单翻版,最显著的变化是,借助 Google 强大的搜索功能,搜索面板从之前的多栏简化为一栏,还有强大的测距、标注工具。值得专门提到的是,Google Earth 提供的卫星图像数据量是之前 EarthViewer 的 10 倍之多,支撑它的服务器也不是之前的几十台,而是几万台。
但是,这些还不够,要发布 Google Earth,还有一堆问题要找到答案。
首先,新产品该叫什么名字?
地图团队希望这个产品的名字里有 Google,而不是像 Picasa, Blogger 那样看起来和 Google 毫无关系。但是到底该叫什么名字呢?不少人支持 Google Globe,这个名字看起来有点抽象但又包罗万象,很适合 Google 那种「少说话,多做事」的风格。但是,John 选择了 Google Earth,一锤定音。
其次,新产品该卖多少钱?
之前 EarthViewer 的售价是:专业版每年 600 美元,普通版每年 79 美元。Keyhole 被 Google 收购之后,所有的价格都打了五折。但是,数据量是 EarthViewer 十倍的 Google Earth 要卖多少钱?布林和佩奇决定,免费开放!所以 Keyhole 的人做了个折衷,Google Earth 也提供了专业版 Google Earth Pro,提供了更强大的功能,每年收费 399 美元。不过到了 2015 年 1 月 30 日,Google 宣布,Google Earth Pro 也不再收取费用,免费开放使用。
再次,使用 Google Earth 要不要注册?
按照之前 Keyhole 的数据,访问网站的人里面,只有 8% 到 9% 会选择下载试用,因为需要注册。据估计,Google Earth 的情况要好点,转化率大概会提高一倍,在 16% 到 18% 之间。但是作为对比,Picasa 的转化率达到了 35% 左右,一个很大的区别是,用户不需要注册。转化率高当然是好事,但 Google Earth 的数据量比之前的 EarthViewer 多 10 倍,需要遍布全球的数以万计的服务器来支持,而且是免费使用的。如果不需要注册就能使用,会不会导致软件的滥用,流量的爆发?
Keyhole 的团队挣扎了很久才决定:Google Earth 应当不需要注册就可以下载使用。
看起来,Google Earth 已经「万事俱备,只欠东风」了。但是 Keyhole 的人无论如何没有想到,东风恰恰掌握在他们的「老朋友」——梅姐(Marissa)的手里。
事情是这样的,Google Earth 要上线,就必须启用 earth.google.com 这个域名。启用新域名,必须得到梅姐的书面许可。没有她的许可,谁也不敢擅自作主。但是到了 2005 年 6 月 27 日,那个周一的中午,距离 Google Earth 的发布只有 12 小时了,无数的文章、博客、新闻组都已经准备就绪,梅姐还没有点头。不得已,负责产品的 Bill Kilday 只能直接冲去找梅姐。
梅利莎,我们需要你的书面许可,这样才能启用 earth.google.com。
好呀,那么参加周四的 UI 评审会吧。你和 John 必须先预定日历,等确认,其他几十个 PMM 都是这么做的。在 Google,我们都是这么做事的。
但是我们等不到周四了,我现在就需要许可。今晚 9 点有八家媒体要发布信息。John 去纽约了,PR 的人已经准备好了 Google Blog 的内容,程序已经部署到六个数据中心,只等发布了。
什么意思?什么叫「只等发布」?开什么玩笑?你还没有发布许可呢,你根本不可能发布!你们为什么不早点来参加 UI 评审会?你们 Keyhole 的人又搞这一套!你们这些家伙总是跟我来这一套!
梅姐的声音很大,在场的其它产品经理都偷偷离开了。但是,Bill 没有离开。据他说,他完全不知道如何会这样:「梅姐在想什么?因为发布 Google Earth 没有提前跟她打招呼吗?还是因为 John 成了热门的 Google Geo 的老大,而她出局了?……」无论如何,Bill 没有离开,也没有动怒。
还好,梅姐抱怨了几句 John 和 Keyhole 团队之后,冷静下来说:「OK,让我看看这玩意儿。」看完 Bill 的展示,梅姐给开了绿灯:「好吧,我许可发布,不过,记得周四来参加 UI 评审会。」Bill 的回答也很大方:
没问题,我很乐意参加。
这里需要讲点背景知识。以梅姐为代表的 Google「老人」一直对 Keyhole 的人有微词。Google 都是名校��业、聪明绝顶的年轻人,相比之下,Keyhole 属于「草台班子」,人的年纪也偏大(佩奇和布林都出生于 1973 年,Hanke 和 Bill 出生于 1967 年,之前 Hanke 职位的另一个人选 Bret Taylor 更是 1980 年出生)。
更重要的是,Keyhole 虽然团队被收购了,但仍然在维护和销售 EarthViewer。而在 Google 的「老人」看来,Keyhole 的人会开小灶,优先把最好的地图数据留给 EarthViewer 用,然后才轮到 Google Maps 和 Google Earth 使用。虽然 Keyhole 的人觉得这是天方夜谭,但他们没法说服 Google 的「老人」——这个例子充分说明,团队间的信任是多么重要,缺乏信任会带来多少无中生有的矛盾。
风波归风波,最后 Google Earth 还是顺利发布了。最初版本的安装包大小为 28MB,Google 动用了几十万台服务器来支持,其中专门用来提供地图数据的服务器就数以万计。在发布后 24 小时,下载次数就超过了 45 万次,第 28 小时,下载超过了 50 万次。要知道,之前 Keyhole 团队花了两年时间,才让 EarthViewer 的下载量达到 50 万。媒体报道也接踵而来,不吝溢美之词。
▲Google Earth 早期版本。来源:Google
不过乐极生悲,汹涌而来的流量终于在周三晚上冲垮了 Google 的防线,Google Earth「暂时无法使用」了,并且在之后的一段时间里持续「上线 – 下线」的命运,即便 Google 有几万台服务器参与支持也无济于事。到第七天,工程师才终于想到了办法,彻底解决了问题。之后每天,下载量都保持在 30 万到 50 万之间。
面对这些数字,Bill 又想起了之前他和布林和佩奇的对话。
营收 1000 万美元,还是发展 1000 万用户,你们更喜欢哪个目标?
我听不懂你这个问题。
对 Keyhole 团队来讲,一年之后,你希望我们把营收做到 1000 万美元,还是发展出 1000 万用户?
我想,你们这帮家伙应该考虑比这大得多的问题。
新大陆
2005 年 8 月 25 日,卡特里娜飓风的袭击让新奥尔良受灾严重,政府出动了大批力量救援灾民。Google Geo 的团队认为,他们应当为救灾出点力。于是他们加快了新奥尔良地区的图像更新速度,提供高分辨率的图像,方便救灾和撤离。他们继而发现,最快的办法竟然是通过单独的 KML 文件直接提供某个地点的图像,这样不必等待地图的完整更新。不过他们没有预料到的是,Google Earth 以一种完全意想不到的方式,大大提升了救灾的效率。
事情是这样的:参与救灾的是海岸警卫队,对于地理位置他们有一套自己的体系,采用经纬度、地点坐标之类的描述法。但是民众在打电话求救时往往只能说出自己在哪条街多少号,或者「在查尔斯广场东面两个街区」之类的描述。如果打电话给 911,接线员要求「说出你的经纬度」,这是谁都没法想象的事情。然而没有经纬度,只有街区、街道、门牌的话,海岸警卫队的地面和空中救援队完全找不到方向。
不知是谁想到了 Google Earth,但这个主意绝对给救灾帮了大忙。求救者发出信息之后,海岸警卫队的调度人员直接输入地址,就可以查到经纬度,救援人员能迅速定位地点。地点定位了之后,救援人员还能根据最新的卫星照片提前定位障碍物,规划好路线,这些都大大提升了救援的效率。据参加救灾的人说,Google Earth 起码帮助解救了几百人的生命,所以他们希望特别感谢。
▲Google Earth 里的新奥尔良(2018 年),可以看到街区所在经纬度。来源:Google
这当然是宣传 Google Earth 的好机会,Keyhole 的人也看到了这个机会。但是,Google 的人从上到下,都不希望借用这个机会。
不,这不是我们做事的方式。我们不愿意蹭这样的热点,把自己塑造成幕后英雄,佩奇和布林也不会同意的。
不愿意宣传,并不代表 Google 不愿意参与这样的事件。
2005 年,一名叫 Rebecca Moore 的女性环保人士联系到了 Google Earth 团队,表达自己的谢意。Rebecca Moore 为了保护圣克鲁斯山(距离 Google 总部只有一个半小时车程)的植被,一直在与木材公司斗争。木材公司给当地居民的公开信中承诺,伐木活动只会对当地居民生活的影响微乎其微,并标注了伐木的区域。之前,环保人士没有办法准确监督木材公司是否履行了承诺,因为实地测量的要求太高了。但是现在,有了 Google Earth 提供的卫星地图,砍伐范围一览无余,再没有任何遮挡,也不可能存在争议。甚至连木材的运输方式,运输路线都被记录在案,Moore 等人制作了 3D 演示,详细说明了木材公司的所作所为。在小镇的听证会上,后续的伐木计划被当场拒绝了。
Google 的人知道这件事之后,并没有选择避嫌,而是大方将 Moore 招募到公司内。Moore 汇报给 Brian,带领一支团队发掘 Google Earth 在环境方面的各种用途。用他们自己的话说,他们希望「为地球制作一张鲜活的、实时更新的仪表盘」。
其实,Google Earth 的用途不仅限于环境保护,新物种、新海岛、物种的迁徙等等。随着用户的增加,层出不穷的用途被发掘出来,甚至还有段传奇经历被拍成了电影。
Saroo Brierley 出生在印度,五岁时误登上一列火车,从此与家人失散。火车带着他穿越了整个印度来到了加尔各答,后来他又被澳大利亚的夫妇收养。成年之后,Saroo 依靠 Google Earth 提供的信息,历经磨难,最终找到了自己出生的家庭。后来他把这段经历写成了一本书:A Long Way Home。派拉蒙影业把它拍成了电影,取名《雄狮》。2016 年,《雄狮》获得了奥斯卡最佳影片提名。有观众打趣说,这「纯粹是 Google Earth 的宣传片」。
▲《雄狮》剧照。 来源:cinema.mu
2011 年,Google Earth 团队再接再厉,推出了 Google Ocean。这一次,地图不再局限于海平面以上的部分,还包括了水下的信息,你可以看到水下的景象,还可以看到海床。
▲Google Ocean 的水下 3D 视图。来源:Google
▲Google Ocean 的海底地形视图。来源:Google
今天 Google Ocean 已经不再是一个单独的产品,而是合并到了 Google Earth。如果你访问 Google Earth,选择 Ocean View,就可以看到海平面下的信息。
本文来自微信公众号余晟以为(ID:yurii-says ),作者为余晟,爱范儿经授权发布。文章为作者观点,不代表爱范儿立场。
爱范儿
爱范儿,让未来触手可及。
邮箱 7
#欢迎关注爱范儿官方微信公众号:爱范儿(微信号:ifanr),更多精彩内容第一时间为您奉上。
爱范儿 | 原文链接 · 查看评论 · 新浪微博
以上内容由IFTTT自动发布,原文地址:https://www.ifanr.com/1115571?utm_source=rss&utm_medium=rss&utm_campaign=
0 notes