当前位置: 首页 > 百度云文章 > 百度云盘构架分析

百度云盘构架分析

  • 时间:2016-11-15|
  • 浏览:305次下载|
  • 来源:网络收集

如果服务器上有一颗 1000G 的硬盘可以全部为用户提供数据储存,如果每个用户分配 1G 的最大储存空间,那么能非配给多少个用户使用呢?
你一定说是 1000/1=1000 个用户。但事实上你这么分配了,你会发现每个用户平时根本不会上传 1G 的东西将容量占的漫漫的,有多又少,但平均用户平时只上传 50M 的文件,也就是说,你将 1000G 的硬盘分给 1000个 人使用,但只有效利用了其中的 50M*1000=50G 的空间,剩余 950G 的空间基本都完全浪费了。

那么怎么解决呢?
你可以变通一下,将这 1000G 的空间分配给 20000个 用户使用,每个人的上传上限容量还是 1G,但每人平时还是平均上传 50M 的数据,那么 20000*50M=1000G,这下子就把宝贵的服务器上的存储空间充分利用了。但你又怕这样分配给 20000个 人后,万一某一刻人们突然多上传点数据,那么用户不是就觉察出来你分给人家的 1G 空间是假的了吗?所以可以不分配那么多人,只分配给 19000 人,剩下一些空间做应急之用。
突然发现一下子将可分配的用户数量翻了19倍啊,了不起。

那还有没有办法更加有效的利用一下呢?
如果我有 1000个 以上的服务器,一个服务器上有 1000G 空间,那么我们个服务器上都要留下 50G 的空白空间以备用户突然上传大数据时导致数据塞满的情况,那么我这 1000个服务器上就空出了 1000台*50G=50000G 的空间被浪费了,可惜。
所以我们发明了计存储集群,使得一个用户的数据可以被分配在多个服务器上存储,但在用户那看起来只是一个 1G 的连续空间,那么就没必要在每个服务器上预留出应急的空间了,甚至可以充分的将前一个服务器塞满后,在将数据往下一个服务器中塞。这样保证了服务器空间的最大利用,如果某一刻管理员发现用户都在疯狂上传数据(在一个大规模用户群下,这样的概率少之又少)导致我现有提供的空间不够了,没关系,只需要随手加几块硬盘或者服务器就解决了。
好吧,这下子我们的服务器空间利用高多了,可以将一定量的空间分配给最多的用户使用了。

但有没有更好的改进方案呢?
管理员有一天发现,即使每个用户平局下来只存储 50M 的东西,但这 50M 也不是一蹴而就的,是随着1-2年的使用慢慢的达到这个数量的,也就是说,一个新的用户刚刚注册我的网络空间时,不会上传东西,或者只上传一点非常小的东西。那么我为每一个用户都初始分配了 50M 的空间,即使将来2年后他们会填满这 50M ,但这期间的这空间就有很多时浪费的啊。所以聪明的工程师说:既然我们可以分布式、集群式存储,一个用户的数据可以分布在多个服务器上,那么我们就假设一开始就给一个新注册的用户提供 0M 的空间,将来他用多少,我就给他提供多少存储空间,这样就彻底的保证硬盘的利用了。但用户的前端还是要显示 1G 的。
工程师的这个点子,使得我在建立网盘初期能用 1台 1000G 的服务器提供了大约 1000000 人来注册和使用,随着注册的人多了,我也有钱了,也可以不断增加服务器以提供他们后期的存贮了。同时因为一部分服务器完了一年多购买,我的购买成本也下来了。


之后…
若是邮箱提供商的话,这样的利用率够高了。但网盘就不一样了。
聪明的工程师发现:不同于邮箱,大家的内容的附件绝大多数都是自创的和不同的。但网盘上大家上传的东西很多都是重复的。
比如:张三 今天下载了一部《TOKYO HOT》上传上传到了自己的网盘上,李四在三天后也下载了一模一样的《TOKYO HOT》上传到了网络硬盘上,随着用户的增多,你会发现总计有 1000个人 上传了 1000份 一模一样的文件到你宝贵的服务器空间上,所以工程师想出一个办法,既然是一样的文件,我就只存一份不久好啦,然后在用户的前端显示是没人都有一份不就行啦。当某些用户要删除这个文件的时候,我并不真的删除,只需要在前端显示似乎删除了,但后端一直保留着以供其他拥有此文件的用户下载。直到所有使用此文件的用户都删除了这个文件我再真的将其删除吧。
这样子随着存储的数据越来越多,注册的用户越来越多,其上传的重复数据越来越多。你发现这样的检测重复文件存储的效率越来越大。这样算下来似乎每个人上传的不重复的文件只能平均 1M/用户。这下子你可以提供超过 50倍 的用户使用您这有限的空间了。
但伴随这使用,你又发现一个规律:
张三上传的《TOKYO HOT N0124》和李四上传的《TH n124》是同一个文件,只不过文件名不一样,难道我就不能识别出他们是一个文件,然后只将其分别给不同的用户保存成不同的文件名不久行啦?确实可行,但这要利用一些识别文件相同性的算法,例如 MD5 值等。只要两个文件的 MD5 值一样,文件大小一样,我就认为它们是相同的文件,只需要保存一份文件并给不同的用户记作不同的文件名就好了。
有一天你发现,因为每一个文件都需要计算 MD5 值,导致 CPU 负荷很大,而且本来一样的文件非要浪费带宽上传回来才可以检测一致性,能改进一下吗?
聪明的工程师写了个小软件/.小插件,美其名曰“上传控件”,将计算 MD5 的工作利用这个软件交给了上传用户的点老来完成,一旦计算出用户要上传的数据和服务器上已经存储的某个数据是一样的,就干脆不用上传了,直接在用户那里标记上这个文件已经按照 XX 文件名上传成功了。这个过程几乎是瞬间搞定了,并给其起了个高富帅的名字“秒传”!


热门文章

  • 黄鳝门女主播自慰直播视频百度云_黄鳝门完整视频百度网盘下载地址

    黄鳝直播是一款社交直播软件,黄鳝直播app拥有超多分类的直播视频供你选择观看。打开APP,一股青春的气息扑面而来,满屏的礼物特效袭击你的视觉,就是为了给你最好的产品体验。事件详情正所谓不作死就不会死,现在有不少主播为搏出位经常会在各种直播平台进行出格甚至威胁到自己生命的活动,真是害人害己。此外还希望国家进一步加大对直播

    网络收集

    567

  • 《旋风少女2》因为一首歌加了文艺分

    咱调查局的帖子一般随帖都会附赠一首bgm每当被戳中心弦,来后台戳局长和我问曲名,大概也是盆友们习惯做的事记得春天的时候还有人建议我们弄个荐曲的公众号,当时大家倒是都很心动,考虑到精力不足还是忍痛歇了打算一晃儿就到了冬天,夜晚变长了好多,裹着被子看片看剧听CD的时候也随之变多秘书大人首先蠢蠢欲动想做点新鲜的事情.....

    网络收集

    43

  • 丈夫半夜和姐姐搂搂抱抱,被我撞破后却说是为我好.....

    圣灵大陆斩妖台,云雾妖娆,虽无草木奇花,却仍旧胜似仙境。一抹鹅黄色的纤瘦清影,正站在斩妖台的断头台上,双手被缚于身后,她面容清秀,眼眸如水,是个清雅淡然的美丽女子。旁边站着的刽子手,目光森森,手握寒刃,和她的淡雅纤弱完全不相符。"茗玉……"随着一阵风动,一声轻轻的男子叹息传入鹅黄色纤瘦清影的耳中,惹得她淡淡一笑。"我还

    网络收集

    38

  • 李开敏:树舞台经典 扛扬剧大旗(扬州文化名人访谈录)

    人物名片李开敏,1939年生,著名扬剧表演艺术家,国家一级演员,享受国务院特殊津贴,全国第二届“金唱片”奖获得者,扬剧非物质文化遗产国家级传承人。她是扬剧一代宗师高秀英的开山弟子,在观众中享有盛誉,被上海观众誉为“维扬正宗之花”。她主唱主演录制的扬剧音像制品,出版了近百万盒,畅销海内外。扬剧,是一朵绽放在扬州的戏剧之花

    网络收集

    37

  • 2017 VICTOR双雄会丨召集天下英雄,争霸双雄赛场;精彩的首站南昌圆满落幕!

    VICTOR双雄会团体赛不知不觉已经陪伴全国的球友走过了6个年头了,在这六年里我们V团队在全国双雄会中,见证了很多球友从分站赛的海选,出线,夺冠,再到总决赛一路走来的风雨路程。在赛场上有激情,有鼓励,有呐喊,满满的正能量充满着整个双雄会比赛。在辞旧迎新的三月里我们迎来VICTOR第七届双雄会的新年首战——江西南昌站。这

    网络收集

    34

  • 从糖宝到小巴蛇少辛到旋风少女,安悦溪的“三生三世"竟然这么精彩!

    本公众号回复明星名字有惊喜❤如:安悦溪全世界都在等白浅姑姑 ,撕玄女的脸, 挖素锦的眼, 上夜华的床。其实还有那么一个小小的她也背叛了白浅姑姑,却没有被收拾。她就是破坏了白浅和二皇子因缘的小巴蛇少辛。这个姑娘名叫安悦溪,1989年出生,是非常被看好的2017霸屏小花之一。在戏中她的表现可圈可点,清纯灵动,把少辛塑造得让

    网络收集

    33

  • 指染成婚:老公别太急 | 老公太急,豪门盛宴指染成婚

    “你必须给我订婚,否则,别想毕业。”耳边响起这句话,炎景熙惺忪的看着红酒杯中的酒,漂亮的琥珀色眼眸中倒影出酒吧中忽明忽暗飘渺的光线。“炎景熙,该轮到你了。一周后你就要订婚了,到时名花有主,现在敢不敢玩个大的。”张华达说道订婚啊?炎景熙收回视线,淡然一笑,也不反驳,手臂交叠放在胸前,右手轻轻的摇晃着手中的红酒杯,眼中闪现

    网络收集

    29

  • 指染成婚:老公别太急 | 先婚后爱

    指染成婚:老公别太急 | 先婚后爱。黎玥觉得人生最戏剧性的一件事,就是她隐婚嫁给了顾承皓!顾承皓,想起那个男人,黎玥只想送他两个字——呵呵……“哇!我老公给娱乐杂志拍封面照啦!小玥玥,你快看!”夸张的惊呼声,来自于室友林倩。黎玥不用看都知道,林倩口中赞叹的人是谁。她轻笑着摇头,“不看,没兴趣!”林倩不管不顾的将手里的娱

    网络收集

    29

  • 躲藏——摄影:Pierre Watson

    国家地理每日精选,带你探索世界,以及其中的一切摄影:Pierre Watson西方狍小心翼翼地躲在草丛间移动,只露出一双大耳朵。拍摄日期:2016年6月27日拍摄地点:瑞士伯恩州的因斯相机型号:NIKON CORPORATION NIKON D7200焦距:600 mm快门速度:1/250 sec光圈:f/11ISO感

    网络收集

    28

  • 世界争霸IOS服&联运服&应用宝服开启公告

    溥天之下,莫非王土;率土之滨,莫非王臣!《帝国OL》全新版本“世界争霸”登场,与全世界的领主一起激烈角逐,最终登顶王座,俯瞰天下!领主大人,您准备好了么!“世界争霸”将于3月20日在益玩IOS服,安卓联运服,应用宝服开启!世界争霸一、概述:世界争霸为个人跨服战,采用积分赛+淘汰赛的赛制决出平台最强者的比赛!【世界争霸】

    网络收集

    27


  • Warning: Illegal string offset 'title' in /webdir/nginx/html/baiduyunpan/runtime/cache/smarty/templates_c/4230888c3496efe0a345c141e15da9157b4071be.file.sec_article_right.html.php on line 47
    4


    Warning: Illegal string offset 'description' in /webdir/nginx/html/baiduyunpan/runtime/cache/smarty/templates_c/4230888c3496efe0a345c141e15da9157b4071be.file.sec_article_right.html.php on line 49
    4

    网络收集


    Warning: Illegal string offset 'browse_times' in /webdir/nginx/html/baiduyunpan/runtime/cache/smarty/templates_c/4230888c3496efe0a345c141e15da9157b4071be.file.sec_article_right.html.php on line 53
    4

最新文章

  • 古文观止 第146章 “送东阳马生序”

    古文观止 第146章 “送东阳马生序”

    网络收集

    2017-03-29

  • 古文观止 第147章 “大言(又名《尊卢沙》)”

    提示:点击上方"天道中国"↑拥有更多精彩分享阅读指数:★★★★☆转发指数:★★★★★《古文观止》是历代中国散文总集。清代吴楚材、吴调侯编选,吴兴祚审定。清朝康熙年间选编的一部供学塾使用的文学读本。“观止”一词表示“文集所收录的文章代表文言文的最高水平”。《古文观止》300年来流传极广、影响极大,在诸多古文选本中独树

    网络收集

    2017-03-29

  • 【古文观止】《师说》/韩愈(唐)

    阅读本文前,请您先点击上面的蓝色字体“与诗词歌赋同行”,再点击“关注”,这样您就可以继续免费收到文章了。完全是免费订阅,请放心关注师说唐 韩愈古之学者(1)必有师。师者,所以传道受业解惑也(2)。人非生而知之(3)者,孰能无惑?惑而不从师,其为惑也(4),终不解矣。生乎吾前(5),其闻(6)道也固先乎吾,吾从而师之(

    网络收集

    2017-03-29

  • 古文观止 第143章 “送何太虚北游序”

    提示:点击上方"天道中国"↑拥有更多精彩分享阅读指数:★★★★☆转发指数:★★★★★《古文观止》是历代中国散文总集。清代吴楚材、吴调侯编选,吴兴祚审定。清朝康熙年间选编的一部供学塾使用的文学读本。“观止”一词表示“文集所收录的文章代表文言文的最高水平”。《古文观止》300年来流传极广、影响极大,在诸多古文选本中独树

    网络收集

    2017-03-29

  • 古文观止 第150章 “书博鸡者事”

    提示:点击上方"天道中国"↑拥有更多精彩分享阅读指数:★★★★☆转发指数:★★★★★《古文观止》是历代中国散文总集。清代吴楚材、吴调侯编选,吴兴祚审定。清朝康熙年间选编的一部供学塾使用的文学读本。“观止”一词表示“文集所收录的文章代表文言文的最高水平”。《古文观止》300年来流传极广、影响极大,在诸多古文选本中独树

    网络收集

    2017-03-29

  • 古文观止 第144章 “大龙湫记”

    提示:点击上方"天道中国"↑拥有更多精彩分享阅读指数:★★★★☆转发指数:★★★★★《古文观止》是历代中国散文总集。清代吴楚材、吴调侯编选,吴兴祚审定。清朝康熙年间选编的一部供学塾使用的文学读本。“观止”一词表示“文集所收录的文章代表文言文的最高水平”。《古文观止》300年来流传极广、影响极大,在诸多古文选本中独树

    网络收集

    2017-03-29

  • 古文观止 第145章 “阅江楼记”

    提示:点击上方"天道中国"↑拥有更多精彩分享阅读指数:★★★★☆转发指数:★★★★★《古文观止》是历代中国散文总集。清代吴楚材、吴调侯编选,吴兴祚审定。清朝康熙年间选编的一部供学塾使用的文学读本。“观止”一词表示“文集所收录的文章代表文言文的最高水平”。《古文观止》300年来流传极广、影响极大,在诸多古文选本中独树

    网络收集

    2017-03-29

  • 古文观止·义田记译文及赏析

    义田记朝代:宋代作者:钱公辅原文:范文正公,苏人也,平生好施与,择其亲而贫,疏而贤者,咸施之。方贵显时,置负郭常稔之田千亩,号曰义田,以养济群族之人。日有食,岁有衣,嫁娶凶葬,皆有赡。择族之长而贤者主其计,而时共出纳焉。日食人一升,岁衣人一缣,嫁女者五十千,再嫁者三十千,娶妇者三十千,再娶者十五千,葬者如再嫁之数,葬幼

    网络收集

    2017-03-29

  • 【古文观止】豫让论

    豫让论——方孝孺作品介绍《豫让论》是明代文学家方孝孺的一篇论史散文。文章标新立异,从传统儒家思想出发,对豫让进行了批评。这篇散文旨在说明不能“扶危于未乱,而捐躯于既败者,不足以当国士”的道理。原文及注释豫让1论士君子立身事主,既名2知己3,则当竭尽智谋,忠告善道4,销患于未形,保治于未然5,俾6身全7而主安8。生为名臣

    网络收集

    2017-03-29

  • 古文观止·续-黄贞文传

    黄淳耀,字蕴生,号陶庵。嘉定县人。少即以圣贤自期。尝作日历,昼所为,夜必书之。缊袍粝食,不苟取一钱。崇祯十六年,试礼部,有要人谕意,欲荐为榜首,峻却之。成进士,不谒选而归。南都初建,求仕者争趋之,淳耀独不赴。或问故,应曰:“某公素善余,今方与当国者比,往必为彼牢笼矣。君子始进必以正,岂可损名义以徇之耶?”卒不往。迨嘉定

    网络收集

    2017-03-29


  • Warning: Illegal string offset 'title' in /webdir/nginx/html/baiduyunpan/runtime/cache/smarty/templates_c/4230888c3496efe0a345c141e15da9157b4071be.file.sec_article_right.html.php on line 80
    8


    Warning: Illegal string offset 'description' in /webdir/nginx/html/baiduyunpan/runtime/cache/smarty/templates_c/4230888c3496efe0a345c141e15da9157b4071be.file.sec_article_right.html.php on line 82
    8

    网络收集


    Warning: Illegal string offset 'addtime' in /webdir/nginx/html/baiduyunpan/runtime/cache/smarty/templates_c/4230888c3496efe0a345c141e15da9157b4071be.file.sec_article_right.html.php on line 86
    1970-01-01

相关文章