slx965的个人博客分享 http://blog.sciencenet.cn/u/slx965

博文

大数据即时分析架构探讨

已有 2935 次阅读 2013-12-3 08:09 |个人分类:大数据|系统分类:科研笔记| 大数据

1、大数据是数据库的自然延伸?

  -忘不掉ACID,舍不得Relation,忽视实际应用

  -潜意识地奉行“一招鲜”(One Size Fits All,  OSFA)
  -非结构化数据(二八原则
  -云计算与大数据(云数据)
  -Hadoop+ HDFS + Map/Reduce(分布式、网格计算、云计算
  -NoSQL
2、Brighthouse: An Analytic Data Warehouse forad-hoc Queries
  -PVLDB’08 DominikSlezak,Infobright,inc.,Poland
  -An Analytic Data Warehouse for Ad-hocQueries
  -Column-oriented data warehouse withautomatically tuned
  -Data management:DP、DPN、KN
  -Rough set + Granular Computing
  -Knowledge Grid
  -Optimization and Execution
3、管理和处理需求
  -落实OneSize Fits a Bunch”
  -查询/检索/统计/挖掘
  -离线/在线(humanreal-time
  -即时(on-demand/ad-hoc)/连续
  -本地/远程/“云”?
  -可回溯的可视化分析
  -事务型与分析型
4、大数据处理框架
  -分流处理(直接处理)和批处理(先存储后处理)
  -流处理

     数据持续到达,速度快,规模巨大,不永久存储,数据不断变化--》难以掌握全貌

  -代表的开源系统:

     Twitter的storm、Yahoo的S4、Linkedin的kafka

  -批处理:MapReduce  

     1)  将问题分而治之。

     2)把计算推到数据而不是把数据推到计算,避免数据传输过程中产生的大量通信开销。

5、Google新三驾马车

     -Dremel:web数据级别的交互式数据分析系统:列存储、多层次查询树,毫秒级海量数据分析

     -F1:The Fault-Tolerant Distributed RDBMS

     -Spanner:Google's Globally-Distributed database  

6、一些困扰

  -Hadoop+Brighthouse?

  -云计算与大数据如何结合?网格计算与大数据?

  -大数据OLAP方案?大数据OLTP方案?

  -大数据到底是什么?如何表述与建模?

  -大数据的理论基础?大数据可计算的基础理论?

  -重要扩展与证明“大数据的正确性”与应用的“出错根源”

  -能量、绿色计算、安全?




https://blog.sciencenet.cn/blog-616154-746606.html

上一篇:Hilbert学习笔记
下一篇:希尔伯特空间(Hilbert space)
收藏 IP: 222.66.175.*| 热度|

1 许培扬

该博文允许注册用户评论 请点击登录 评论 (0 个评论)

数据加载中...

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2024-11-26 20:26

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部