霍尼韦尔黑标,视频监控+安防,中小型安防

慧聪安防网

乐视薛伟:乐视云存储的服务怎样演进

http://www.secu.hc360.com2015年01月20日17:17 来源:存储在线T|T

    慧聪安防网讯 2014(第十届)中国存储峰会2014年2日在北京盛大开幕。作为中国存储产业的十年盛会,峰会以“掌控数据经济·重塑商业价值”为主题,邀请超过1500位学术界顶级学者、产业精英和企业用户出席,围绕数据经济和商业价值两大话题,从云计算、大数据、软件定义和闪存等四个技术方面举行一系列主题演讲和圆桌会议。

    在下午的云存储应用论坛(云存储下的数据经济)上,乐视云存储技术总监薛伟以乐视云存储为基础谈了当前企业与个人如何应对云存储,其主要话题从传统视频网站的迭代存储架构问题驱动优化,存储平台化服务思路,全网企业云存储服务平台,个人云存储服务时代的有机云存储等方向进行了详细系统的介绍。

    以下是大会速记内容:

    大家下午好,乐视网其实不是专业做存储的公司,我们今天的这个话题跟更多企业的视角不太一样,我们还是从互联网的需求视角来看。

    今天下午主要带领大家展开四个话题的讨论,第一个作为传统视频网站,甚至作为互联网企业,他们对于存储架构问题的解决,怎么能够迭代优化安排。

    第二个作为互联网企业怎么把存储品牌化,我们对互联网内部的多个业务线,以及多个场景对存储的使用仍然需要一个产品级的,或者叫平台化的存储服务,这里面我们讲一个存储平台化。

    后面两个是围绕价值来讲,一个是如何对全网的云存储的客户提供服务,主要是面向2B的市场。最后一个是面向2C的市场。

    其实我们从互联网角度来看关注的角度不太一样,我们关注的互联网为个人、客户提供业务,我们主要考虑到如何用低成本,我们比较关注成本,当然你会发现在我们的演进当中会出现这样那样的问题,这样的问题我们也通过快速迭代,因为大家都是线上使用某个平台,通过线上快速的迭代,以及我们在存储的使用中如何把时间和空间策略很好地安排,身为厂商级的存储设备,大部分是空间设备紧张,是高密度的,我们是稀疏的空间,我们通过大量的空间的运用得到时间上的高效。

    此外,通过互联网的部署,你看到全国的分布,这是在企业级存储里面没有想到的。

    下面的话还会体现得比较实际,作为企业来讲,以前有运维服务商提供给你,互联网企业不管是上什么样的技术,前几年像Hadoop,你上了之后会出现什么问题,人员对新技术的运维的难度,都是我们面临的问题。

    公司永远在讨论一个存储成本应用的降低,我们今天讲价值回报,不仅仅是说我今天要存多少数据,这个数据怎么快速地上传或者下载,或者快速消费掉,今天我们看到的更多是数据经济,这些数据之后,比如说大数据的理论,怎么被我高效的经济服务产生高效的价值,所以今天是我们下边的主要关注点。

    我们觉得其实围绕系统的边界,要考虑到存储系统谁是使用者?我们互联网企业其实可以从几个层面来看,比如说个人使用者,或者说企业内部业务限制使用者,他们的期待是什么?

    所以说我们整个的存储架构是随着这种边界的期待来去提供的高效服务成本,当然也有很多跟存储企业厂商相似形的地方,比如说我们日志存储,我们也会有一些方案在里面。

    我们看一下作为实体网站核心的业务流程,这是展开我们存储话题的一个前置,视频网站大家能看到电视剧、电影,是我们上台上传到服务中心,包括移动、包括PC,所以这一步上传存储完就转码,转码之后要分发到大家各地所在的运营商,这是一个分发的过程。

    之前的服务流程就是围绕一个基本的视频网站的本质服务去做的,整个的视频上传、分发,实际上我们总体一个思路是什么?

    第二个,你后台所有的上传、存储、转码等等能不能做好平台化服务,为多个业务线介入和多条线服务。我们今天在看整个LeCloud分层,都在谈他的存储的虚拟化或者平台的虚拟化服务,我不关心资源运用的是什么?

    第一个,你这些能动性输出给你外边的客户,今天可能很多的网站企业,各种各样的传统行业企业都想在自己的网站上输出视频,这个视频能不能去输出?这是我们一个重要的产品线和业务业务线,叫乐视鱼视频。

    我只要去看出来你给我提供计算分区和子母分区,我们今天重点是对中间云存储的分区如何谈这个环节,在没有谈平台化的时候,一开始我们遇到哪些问题,之前的存储永远是一个单向的线性逻辑,能让大家看到我们的电影和电视剧,这里边的软件像开元的,比如说我们也用到过Hadoop,听起来非常适合这个场景。

    因为Hadoop适合大块软件,而且有很多数据场景,这个听起来非常地好,有很多开元,你会发现用这些开元的不是因为成本低而用,一定要适合你的业务场景,用起来你会发现实际上成本都在后面,特别是我们每天数据增量在20个,你会发现我们经常在婚戒中出现这样那样的问题,比如说网卡发动的时候有一个荡机。

    其实很多时候是由于Hadoop的技术过老,或者瓶颈导致的。比如说0.2、0.3的场景,一个文件我为了让它更可行,你会发现很多文建会不可靠的情况下会断掉,我们需要断点续传,你会发现我们说Hadoop里边有一个机制,叫做文件制约。

    你原来写的上行的代码是可以逻辑上续传,基本上不成功,需要人工地删除掉,这是我们遇见的很多客户。

    以前的版本里面,一个单技术的规模也要500T,你要有一个横向扩展的过程,本来是加一个1的D,你应该是加的集群,我一个集群是500T的话,我们线上运行了七到八个集群,扩一个集群意味着什么?

    意味着我们运维成本的增多。我一个工程师维护一个集群就够了,今天我要维护多个集群,而是多个集群的数据同步出现的问题。还出现宕机的问题,这些都是我们使用中的问题。

    下面还有一些标准,比如说大家去访问sDK接口的时候,你会发现如果你仅仅是一个应用使你的文件存储到系统里面,它要通过各自接口,先取你的数据,再去调度,整个效率非常低下,这只是数据进到存储中,数据从存储中出来你会发现有很多用法。

    你调用他的SDK接口,你会发现直接油下载接口,那个下载接口是一个管理接口,根本经不起大量数据,有的人一开始还在优化我们的Jetty服务器。整个视频网站还是一个场景,传统的行业有他自己的解决方案,但这种解决方案都是S的模式。

    传统的通过自己的FTP的客户端来上传,甚至优化之后写出自己本地的客户端去上传我们的软件。由于是内网上传,当时太原和北京两地,当时的时候你会发现因为HDMS里面没有业务进行数据管理,当时扩展的时候最多是目标端消冗,很多时候是Hadoop内部的限制。

上一页123下一页

慧聪安防商城