搜文章
推荐 原创 视频 Java开发 iOS开发 前端开发 JavaScript开发 Android开发 PHP开发 数据库 开发工具 Python开发 Kotlin开发 Ruby开发 .NET开发 服务器运维 开放平台 架构师 大数据 云计算 人工智能 开发语言 其它开发
Lambda在线 > 电脑商情报 > 【头条】解析腾讯云COS对象存储关键技术的演进

【头条】解析腾讯云COS对象存储关键技术的演进

电脑商情报 2017-10-30


在腾讯平台上有这么一家影视公司,每周发布两部影片,每部影片的大小约200G,并且有2D、3D、中文、英文等多种制式。按照传统做法,影视公司用硬盘拷贝影片,通过快递的方式发往全国5000家影院。这就意味着该公司每周需要准备至少5000-10000个硬盘,起码耗时一周才可能全国同步上映。


现在,他却只需要坐在办公室动一动鼠标,两天内所有的片子,所有制式就可以分发到全国各地5000家影院同步上映。说到这里,我们已经看到了腾讯云对象存储COS的冰山一角。


在历经一段相对低调的打磨期后,此次腾讯云COS的重新出击融合了全球400+加速节点的优势、业界第一的图片鉴黄能力、以及优图人脸识别能力,针对现代企业在存储中面对的数据及网络安全、访问效率、存储容量、以及运维成本等痛点提供更好的解决方案,让任何量级的企业均可以抛弃硬盘,轻松上云。


据了解,2006年底腾讯推出了COS第一代产品,COS的第一个业务就是当时国内最火的图片分享平台QQ空间相册。COS上线之后顺利地解决了照片量上传增长太快而系统无法快速扩容的问题。2008年腾讯推出了key value存储系统,承接了QQ空间很多关于半结构化的业务,KV系统成为COS系统的有利补充。


此外,2010年腾讯存储团队开始探索新的领域,研发出基于SSD和内存的存储系统,丰富了COS产品线,很好地解决了高并发量,但文件却很小的场景,QQ头像的下载正是这样一个典型的案例。2012年COS接入了腾讯视频,结合了CDN产生了后来巨量的下载带宽。


不仅如此,同一年微信诞生,文件、图片、视频等多媒体文件的接入,微信产品爆发式的增长,2014年存储总量突破了500P,直到今天这个规模超过了EB。2015年,正是基于十年的研发实力积累,COS正式对外开放上架腾讯云。


如何做到安全可靠?


腾讯云COS技术总监黎文彦说,所有的存储系统都必须要解决关键问题,其一之一就是数据的安全性。腾讯是如何做到COS可以超过12个9的安全可靠性的?


第一是多副本,这是业界比较常用的手段,上传时可自动创建超过三个副本。


第二是机房容灾,上传时自动把多个副本部署在不同的机房。做到这两点,单机故障、单个机房的故障不会造成任何数据的丢失,并且保障了可用性。


第三则是回收站。大家对多年前QQ空间盗号、恶意删数据,或者用户误删除记忆犹新。如今腾讯开创性地实现了回收站,使得恶意删和误删的投诉降低到零。


第四则是异地容灾。异地容灾是个热词,但在天灾人祸前往往经不住考验。COS则有效解决了网络传输延迟和数据一致性的问题。目前腾讯在多地部署的设备物理距离上超过三千公里。


如何做到比传统方式快20倍?



首先是DNS解析优化。通过IP直出的方式,绕过DNS解析,省去了DNS解析这一步,这样做的好处也可以避免运营商各种劫持,同时提升了调度的精准性。


其次是上传加速。以前只有CDN下载加速,为什么没有上传加速?黎文彦对此解释说:“过去几年用户的上行带宽很小,直到最近几年光纤的普及,用户上行带宽越来越大,通过类似于CDN下载加速的方式做上传就近接入,效果也是非常好,再结合了异步、并发的方式能够最大化利用用户上行的带宽。”


最受是关于网络协议的优化。比如说2G或者Wi-Fi不是稳定的时候,腾讯做了丢包重传的优化,还有TCP协议栈的优化,再结合数据包压缩等手段,如此以来在网络较差的情况下COS仍然可以保证秒级的体验。


除此之外,其实COS团队早在几年前就启动了FPGA相关研发,通过硬件加速的方式,对比传统CPU使得图片处理性能提升超过20倍。


《电脑商情报》创立于1992年3月,“聚焦渠道进化,关注方案集成”是我们的宗旨。旗下CBINews.com是中国最大的企业级IT渠道垂直网站。我们致力于为您提供国内企业级IT市场的渠道新闻资讯和原创深度报道。

版权声明:本站内容全部来自于腾讯微信公众号,属第三方自助推荐收录。《【头条】解析腾讯云COS对象存储关键技术的演进》的版权归原作者「电脑商情报」所有,文章言论观点不代表Lambda在线的观点, Lambda在线不承担任何法律责任。如需删除可联系QQ:516101458

文章来源: 阅读原文

相关阅读

关注电脑商情报微信公众号

电脑商情报微信公众号:cbinewswx

电脑商情报

手机扫描上方二维码即可关注电脑商情报微信公众号

电脑商情报最新文章

精品公众号随机推荐