再开始正文之前, 先分享我最近思考得出的一段话:
互联网解决了信息随时分享, 移动互联网解决了信息随地分享, 物联网解决了信息随物分享, 而构建在三者基础之上的区块链解决了数字价值的随时随地随物地转移.
天下大势, 合久必分, 分久必合.
1943 年, IBM 的托马斯. J. 沃森曾经说过:"我认为也许 5 台计算机就能满足全世界的需要". 进入 21 世纪第 2 个十年, 有人说,"也许 5 朵云就能满足全世界的需要". 这里 5 朵云, 分别指的是 AWS,Azure,Google, 阿里云, IBM. 华为在 2017 年成立了云 BU, 也计划打造成为全球五朵云之一.
真的是这样的吗? 虽然我们确实看到公有云的市场份额在现阶段不断地攀升. 但是, 也看到它带来的一些问题, 包括安全, 成本, 性能, 效率等方面.
安全
举个例子, 当我们享受这些互联网巨头给我们带来的便利的时候, 不知不觉中, 我们也会惊讶地发现, 我们的隐私很有可能遭到泄漏. 以 2018-03-31 的文章脸书, 谷歌到底能获取多少用户信息? 真相让很多人吓尿了为例, 这些互联网巨头可以轻而易举地获取你个人的如下信息:
你在哪儿, 你搜了什么, 你看了什么视频, 你用什么 APP, 你的照片, 你的云盘, 你的日历, 你发的邮件, 你的步数, 你听的音乐, 你聊什么, 你发过什么......
正因如此, 互联网巨头才能为你进行用户画像, 给出能够比较精确匹配的商品推荐, 并基于大量的个体信息, 进行大数据分析, 甚至在你不知不觉的情况下, 深刻地影响你的判断, 选择和行为.
最近两个月闹得沸沸扬扬的 FaceBook 事件, 就是一个例子. 高达 5000 万的 Facebook 用户数据被 Cambridge Analytica 数据分析公司非法获取, 并用于操纵美国总统竞选.
如上图所示, 2018 年 4 月 10 日, 4 月 11 日, 美国参议院商务, 科学与交通委员会和参议院司法委员会针对 Facebook 扎克伯格举行了一场联合听证.
成本
以 AWS 为例, 500TB 以上 / 月时, 每 GB0.021 美元, 如果用户存放 1PB 的数据量, 10 年大约需要花费 264 万美元. 这种中心化运营的模式, 公有云存储提供商必不可免的需要在数据中心的部署, 管理运维, 以及人力上耗费大量成本.
性能和效率
随着物联网 (IoT) 和边缘计算 (一种在物理上靠近数据生成的位置处理数据的方法) 的兴起, 有些场景必须在终端附近快速的进行存放和处理.
过去十多年里, 企业 IT 总体的发展趋势, 是从分走向合, 原有的 IT 巨头纷纷被公有云计算的服务提供商冲击. 接下来, 这个趋势仍然会持续, 但从合走向分的暗流开始涌动. 当数以千亿级的设备所组建的物联网开始普及时, 从合走向分将更为凸显.
当然, 也许未来的情形更可能是你 (云计算) 中有我(边缘计算), 我中有你的融合发展.
如何在公有云基础上, 使得安全和成本, 能够进一步取得突破? 现在看来, 软件定义存储与区块链的结合是一个不错的选择.
我们先来看一下, 什么是软件定义存储?
软件定义的存储 (SDS) 是一个不断进化的概念, 在现阶段看来, 是指存储资源由软件自动控制, 通过抽象, 池化和自动化, 将标准服务器内置存储, 直连存储, 外置存储, 或云存储等存储资源整合起来, 实现应用感知, 或者基于策略驱动的部署, 变更和管理, 最终达到存储即服务的目标.
总结成一句话就是存储即服务.
再来看一下, 什么是区块链?
区块链 (BlockChain) 本质上是一个分布式的账本, 也是去中心化的数据库. 大名鼎鼎的比特币的底层技术就是区块链.
区块链并不是一种新的技术, 是新的技术组合, 它非常巧妙地将若干种技术结合起来, 包括分布式数据存储, 点对点传输, 共识机制, 加密算法, 智能合约等. 其中, 共识机制是区块链系统中实现不同节点之间建立信任, 获取权益的数学算法; 智能合约是一种旨在以信息化方式传播, 验证或执行合同的计算机协议. 智能合约允许在没有第三方的情况下进行可信交易, 这些交易可追踪且不可逆转.
如下列出了区块链的六大优势: 1, 提升透明度; 2, 精确追踪; 3, 长期保存; 4, 降低成本; 5, 提升效率; 6; 不可篡改.
两者之间有什么共同点吗?
首先, 软件定义存储分成控制平面和数据平面. 控制平面决定数据的调度和流向, 能否实现存储即服务, 就是在控制平面层决定的.
数据平面决定数据的处理和优化. 众所周知, 在数据平面这一层, 分布式存储 (包括 Server SAN,HCI, 分布式文件存储, 分布式对象存储) 在市场份额上不断地迅猛增长, 逐渐侵蚀集中存储的份额. 根据 Wikibon 的预估, 大约在 2021 年前, 企业级存储的市场份额中, 分布式存储将超越集中存储.
分布式就是软件定义存储和区块链的共同特点之一. 分布式能够避免了中心节点带来的安全隐患, 性能瓶颈和扩展局限.
自动化是第二个共同特点, 软件定义存储的终极目标是实现存储即服务, 自动化是其最高阶段的任务. 在区块链里, 自动化的体现就是智能合约, 它将极大地缩短时间, 提高效率, 降低交易的成本.
下面我们来分析一下软件定义存储如何与区块链结合, 以及两者结合带来的优势.
现有的主流的云存储, 都是中心化运营的, 做为用户, 很难确保自己上传的数据等安全性, 尤其是可能包含隐私信息的资料, 照片, 视频. 是当你使用免费或者超低成本的云盘空间时, 更是如此. 因为, 天下没有免费的午餐, 云存储的运营商需要投入巨大的成本来提供存储空间和运营, 这里面包含了数据中心的建设, 运营, 人员的成本等等. 大多数云存储提供商都是依托于互联网巨头的, 这些互联网巨头不可能永远免费或者亏损的形式提供存储服务. 用户上传到云存储上的数据, 很可能被用于其人工智能, 大数据分析的原始素材.
用户的数据并非绝对不可使用, 但应该由用户自主决定, 并且如果被使用, 用户应该有机会获得收益.
区块链的诞生, 为软件定义存储的发展开辟了新的道路.
首先, 存储的池化可以在更广阔的空间, 以更丰富的形态来实现. 其次, 区块链的 Token 激励机制, 可以驱动大家将企业级存储, 服务器, PC, 移动存储等的剩余存储空间贡献出来. 用户数据以分布式地方式存放到不同节点上, 每个节点实际存放的数据只是数据的一些切片, 而且这些切片还以加密的方式保存起来. 这样, 数据能够更安全地保护起来, 即使提供存储节点的用户有机会查看这些切片, 看到的也是没有实际意义的数据段.
再次, 区块链的 DAO(DistributedAnonymous Organization, 分布式自治组织)这种分布式商业模式, 有机会借助全球的资源和人才, 类似众人拾柴火焰高一样, 加速产品和商业模式地发展.
最后, 如果区块链的基础设施, 以及之上等应用 (DApp,DistributedApp) 逐步完善之后, 用户存放的不只是数字信息, 而是可以进行价值交换的数字资产. 举个例子, 我撰写的软件定义存储: 原理, 实践与生态大约是在 2016 年 7 月上市销售其纸质书的. 然而, 时隔一个多月, 我就在某个网站上看到全文电子版, 令我气愤不已. 但是, 由于你无法找到始作俑者, 很难进行维权. 然而, 区块链可以帮助我们在互联网上进行数字资产的确权, 在这个基础之上就可以进行数字资产的转移, 附带实现价值的交换. 由于区块链还具备不可篡改, 精确追踪等特点, 使得版权保护更容易实现.
实际上, 在全球范围内, 已经有好几个软件定义存储结合区块链 (后面简称为区块链存储) 的项目, 正在如火如荼地展开. 列出一些, 并重点介绍其中几个.
- ,IPFS/Filecoin
- ,StorJ
- ,Sia
- ,Maidsafe
- ,Bluzelle
- ,Decent
- ,Archain
一, IPFS(星际文件系统)
IPFS(Inter Planetary File System)是一个面向全球的, 点对点的分布式版本文件系统, 它的发明者胡安. 贝尼特 (Juan Benet) 是一位墨西哥移民, 毕业于斯坦福大学的计算机科学专业. 他之前创立的一家公司在 2013 年被雅虎收购 , 随后他在今年的 Y Combinator 项目中成立了 Protocol Labs, 这家公司现在的工作是推进 IPFS 项目, 它的目标是取代我们在过去 20 年已经习以为常的互联网协议 - HTTP.
把 IPFS 列在第一位, 是因为它的影响力最大, 被更多的人看好. IPFS 被誉为下一代网络协议, 以分布式的方式, 来取代越来越中心化的 HTTP.IPFS 发行的数字货币 Filecoin, 在 2017 年 8 月 21 日进行 ICO, 短短的 1 个小时, 就筹集了超过 2 亿美元的资金.
使用 HTTP 时, 我们查找的是位置, 而使用 IPFS 时, 我们查找的是内容. IPFS 的做法是不再关心中心服务器的位置, 也不考虑文件的名字和路径, 只关注文件中可能出现的内容. 例如 123.txt 放到 IPFS 节点, 它会得到一个名字
QmXGTaGWTT1uUtfSb2sBAvArMEVLK4rQEcQg5bv7wwdzwU
这是一个由文件内容计算出的加密哈希值. 哈希值直接反映文件的内容, 哪怕只修改一个比特, 哈希值也会完全不同.
在国内, 网名为搬山工的朋友曾经分享过 IPFS 视频在线播放器(http://www.ipfs.guide/). 可以在线播放存储在 IPFS 网络的视频文件, 只需要填写文件的 IPFS hash 值即可. 例如:
1, 银翼杀手:
QmcUHdzKgRrcJrD5Ah46HgBHF7urWDhmAnLKYwcHaLgeGP
2, 盗梦空间:
QmQATmpxXvSiQgt9c9idz9k3S3gQnh7wYj4DbdMQ9VGyLh
实际上, 围绕着 IPFS, 已经有了越来越多的应用. 下面列出其中的一部分:
akasha: 基于以太坊和 IPFS 的社交网络
Alexandria: 去中心化的内容发布平台
Arbore: 朋友之间的文件共享系统 -- 相信很快就可以抛弃某度的云盘了
dtube: 利用 IPFS 作为存储的视频分享网站
git-ipfs-rehost: 可以把 github 上的项目存储到 IPFS 上
Interplanetary Wiki: 建立在 IPFS 上的 wiki(土耳其封锁了 wiki, 借助于 IPFS, 现在已经恢复了访问)
ipfs-search: 基于 IFPS 的搜索引擎
ipfs-share: 基于 IFPS 的文件分享
ipfs.pics: 基于 IFPS 的图片分享网站
Orbit: 基于 IFPS 的分布式聊天工具
Partyshare: 一个简单的文件共享系统
computes.io: 基于 IPFS 的分布式计算机(这个牛, 把世界上的计算资源收集起来, 构建一个巨大的分布式计算机)
OpenBazaar:openbazaar 是一个去中心化的淘宝, 口号是 "买卖自由 / Buy and Sell Freely", 问题是一旦用户停止运行软件, 商店就下线了, 借助于 IPFS,openbazaar2.0 打造一个离线商店.
Ubuntu: 著名的 linux 发行版本 Ubuntu 正在计算把发行版本转移到 IPFS 上来, 目前正在讨论方案.
令人惊讶的是, IPFS 主链还没有上线, 但全球已经有很多人开始摩拳擦掌, 准备进行挖矿了. 笔者最近听到的一个消息是, 从 2017 年年底到 2018 年 3 月份, 因为全球挖存储币, 导致大容量硬盘 (例如 8TB 以上) 的价格上涨了 20% 以上, 真是令人瞠目结舌.
二, StorJ
要快速了解 StorJ, 可以打开如下腾讯视频.
Storj 起源于一次比赛. 2014 年 4 月, 开源, 去中心化存储平台 Storj, 赢得德克萨斯州比特币会议的黑客马拉松奖, 获得了 BitAngles 基金 250 000 美元投资.
2017 年 2 月, Storj 获得 300 万美元种子轮融资, 投资方包括风险投资公司谷歌风投, 美国高通风投以及 Techstars 的个人投资者.
截止 2018 年 3 月, Storj 在 200 个国家拥有 9 万个节点, 每个月有 6.9 万注册用户, 超过 2.4 亿笔交易.
Storj 曾制作了一张图, 比较了像 Storj 这样的去中心化存储系统的成本与像 Dropbox 这样的传统中心化存储系统的成本. 结果令人惊愕. Storj 声称在自动网络上购买和出售硬盘空间将会极大地降低云计算的成本, 去中心化存储成本只有中心化存储的 1/100~1/10.
100G 存储空间每月费用对比
不过, 由于 Storj 仍然处于不断完善之中, 笔者最近了解到的情况是, 它的单位 GB 价格目前只比 AWS S3 便宜 30% 左右.
其实, 最令我感兴趣的是, 开源软件公司 Docker 的首席执行官 BenGolub 在 2018 年 3 月 12 日加入 Storj, 担任执行主席, 临时首席执行官. 这或许代表着 IT 技术的下一个风向.
笔者从 YouTube 上下载了 4 月 5 日 Ben Golub 在 Palo Alto 参加 CUBEConversation 的访谈(23 分钟, 英文), 以飨读者.
在这次访谈中, Ben Golub 拿 Airbnb 这种共享租房的方式, 来比喻 StorJ 共享租盘.
Airbnb 是全球最大的租房公司, 但自己却没有拥有任何一间酒店房间. StorJ 没有自己实际拥有的存储空间, 但立志要颠覆 DropBox. 或许, 在区块链和共享经济时代, 新的巨头将以全新的方式和面貌出现.
来源: http://stor.51cto.com/art/201806/576794.htm