百度向业界分享海量数据处理技术

news/2024/7/10 21:15:07 标签: 百度, 分布式存储, hadoop, 存储, 互联网, 数据分析

 

导语:我们身处海量数据时代。2011年,全球产生的数据量达到1.8ZB(1ZB=10亿TB,1TB=1000GB)。未来十年,全球大数据还将增加50倍。面对数据的暴增,如何有效的存储、管理、访问这些数据?互联网企业将如何应对大数据处理所带来的技术挑战?

海量数据处理技术,成就百度毫秒级搜索响应

中科院计算所副研究员查礼博士在沙龙上指出:百度毫秒级的搜索响应速度源于海量数据分析技术。大数据发展分为三个阶段,第一个就是大,通过分布式系统架构Hadoop来编辑出大量的数据,这个阶段现在已经完成。第二个就是快,在解决大量问题、调用大量数据的同时,尽可能缩短时间,是现阶段需要解决的问题。“以时间换空间”是现在主流的解决方法。第三个就是准,在使用搜索引擎的时候,根据每个人的使用习惯和需求方式的不同,来获得更准确的答案,是大数据未来的发展目标。

百度分布式高级研发工程师杨栋介绍,从“快”到“准”也正是百度目前的课题。现阶段百度将100毫秒定为搜索响应速度标准,并通过去重算法和云存储等创新技术,在内存、高可用、读写等方面做出革新,不断缩减这个数值,达到更快的响应速度。此外,百度还采用了hypertable(开源存储>分布式存储系统)与hadoop系统结合的方式,更好地完成存储,节约成本及降低能耗。

“准”作为海量数据技术的未来发展趋势,已在百度初现端倪。百度新首页的“推荐引擎”技术就已经部分实现“不搜即得”的智能应用推荐,即基于用户以往的使用习惯分析,直接将用户需要的信息推送至用户个人首页。

毫无疑问,海量数据时代已经到来,从“快”到“准”的大数据处理技术,将让每一个网民受益,享受到更便捷贴心的网络体验。

据了解,百度技术沙龙系由百度与技术社区合作举办,至今已经成功举办了25期。经过两年多的积累,百度技术沙龙在互联网业内已成为公认最权威、最受技术人员欢迎的技术交流平台。往期回顾及资料下载,可访问:salon.baidu-tech.com


http://www.niftyadmin.cn/n/1653818.html

相关文章

Algorithms

多数派问题() 在O(n)时间复杂度,O(1)空间复杂度内,判断是否有候选人的得票数过半 该算法在运行过程中,需要两个临时变量c和t,c记录当前可能得票数过半的候选人编号,t记录该候选人的净超出次数。对于c而言,除…

mysql中自定义函数编程

语法: 新建: Create function function_name(参数列表)returns返回值类型 函数体 函数名,应该合法的标识符,并且不应该与已有的关键字冲突。 一个函数应该属于某个数据库,可以使用db_name.funciton_name的形式执行当前…

GUI 控件样式

GUI 控件样式 来源于: http://www.autoitx.com/Doc/html/appendix/guistyles.htm本页列出了用于窗口的通用及扩展样式,同时还列出了用于控件的样式.这些样式能作为"样式"和/或"扩展样式"参数用于大部分的 GUI 函数中.要使用这些值必须使用 #in…

学习嵌入式的感想(来自分享)

一.学会裸奔:从51出发。在这个阶段有三个目标:1.学会看原理图,熟悉掌握IIC,SPI等等协议(以后会发现不管MCU或是SOC怎么变但是这些协议还是一样的)。2.了解51单片机的工作原理,明白其是怎样执行程序的,内部资…

left of '-GetStatus' must point to class/struct/union/generic type

LRESULT CALLBACK PlayWindow::PlayWindowProc(HWND hWnd, UINT uMsg, WPARAM wParam, LPARAM lParam)//这是一个static成员函数 { switch (uMsg) { case WM_LBUTTONDOWN: if(m_pIPlayCtrl->GetStatus() 3) { m_pIPlayCtrl->Pause(); …

富文本编辑器里提取简介--正则表达式替换标签

1 static void Ckeditor() 2 { 3 string tags "<p><span style""font-size:18px"">12</span>34</p>"; 4 //正则表达式的引擎是贪婪&#xff0c;只要模式允许&#xff0c;它将匹配尽可…

mysql命令查询表的个数、加减时间-函数-时间加减

查询表的个数 语句如下&#xff1a; [sql] view plaincopyprint? SELECT count(TABLE_NAME) FROM information_schema.TABLES WHERE TABLE_SCHEMAdbname; 其中dbname是要查看的数据库的名字。 查询表字段个数的两种方法方法一&#xff0c;在你的程序中直接 desc tablename…

传承国学经典,宏扬传统文化——国学668(www.guoxue668.com)

传承国学经典&#xff0c;宏扬传统文化——国学668(www.guoxue668.com)&#xff0c;我们致力于打造最大的国学社区&#xff0c;为国学爱好者提供交流和学习的平台。站长只是一个普通的技术开发人员&#xff0c;是一个国学爱好者&#xff0c;希望能通过自己的技术为国学的发展提…