1、大数据是数据库的自然延伸?
-忘不掉ACID,舍不得Relation,忽视实际应用
-潜意识地奉行“一招鲜”(One Size Fits All, OSFA)
-非结构化数据(二八原则)
-云计算与大数据(云数据)
-Hadoop+ HDFS + Map/Reduce(分布式、网格计算、云计算)
-NoSQL
2、Brighthouse: An Analytic Data Warehouse forad-hoc Queries
-PVLDB’08 DominikSlezak,Infobright,inc.,Poland
-An Analytic Data Warehouse for Ad-hocQueries
-Column-oriented data warehouse withautomatically tuned
-Data management:DP、DPN、KN
-Rough set + Granular Computing
-Knowledge Grid
-Optimization and Execution
3、管理和处理需求
-落实“OneSize Fits a Bunch”
-查询/检索/统计/挖掘
-离线/在线(humanreal-time)
-即时(on-demand/ad-hoc)/连续
-本地/远程/“云”?
-可回溯的可视化分析
-事务型与分析型
4、大数据处理框架
-分流处理(直接处理)和批处理(先存储后处理)
-流处理:
数据持续到达,速度快,规模巨大,不永久存储,数据不断变化--》难以掌握全貌
-代表的开源系统:
Twitter的storm、Yahoo的S4、Linkedin的kafka
-批处理:MapReduce
1) 将问题分而治之。
2)把计算推到数据而不是把数据推到计算,避免数据传输过程中产生的大量通信开销。
5、Google新三驾马车
-Dremel:web数据级别的交互式数据分析系统:列存储、多层次查询树,毫秒级海量数据分析
-F1:The Fault-Tolerant Distributed RDBMS
-Spanner:Google's Globally-Distributed database
6、一些困扰
-Hadoop+Brighthouse?
-云计算与大数据如何结合?网格计算与大数据?
-大数据OLAP方案?大数据OLTP方案?
-大数据到底是什么?如何表述与建模?
-大数据的理论基础?大数据可计算的基础理论?
-重要扩展与证明“大数据的正确性”与应用的“出错根源”
-能量、绿色计算、安全?
https://blog.sciencenet.cn/blog-616154-746606.html
上一篇:
Hilbert学习笔记下一篇:
希尔伯特空间(Hilbert space)