刘洋的博客分享 http://blog.sciencenet.cn/u/outcrop 管中窥豹,盲人摸象

博文

搭建个人数据仓库杂记

已有 6113 次阅读 2016-4-27 17:24 |个人分类:计算机应用技术|系统分类:生活其它| 杂记, 搭建, 个人数据仓库

受不了从320G到4T不等的一堆硬盘和移动硬盘里翻来找去的寻觅一些个人文件,决定搭建一个较大容量,方便查找的个人数据仓库。


转了一圈硬件,最后选定了HP Microserver Gen8这款:

默认硬件升级了下内存到8G,做数据仓库的同时,还可以做一些计算。这套硬件优点是相对主流NAS系统如群晖、QNAP等计算能力强很多、也不是NAS专用文件系统,而且具备较低的价格和较大的DIY空间(CPU、内存都可以升级的比较强悍);缺点是功耗略高、DIY过程麻烦。


原系统4个盘位,系统盘用了一块4T的Seagate企业级硬盘,剩下3个盘位打算上4~6T的Seagate NAS盘。其实光驱位还可以接一个SSD硬盘,不过要改电源线,目前就没折腾。加上6个外置USB口,一个内置USB口,接移动硬盘能力不差;这样加起来带冗余的小仓库容量可能有20T左右。


网络部分自带的两个千兆网卡够用,不打算做NAT或者入侵监测,一个分给系统,一个分给虚拟机算了。


操作系统选择CnetOS比较稳定,HP的驱动支持也比较好;CentOS在这里:

数据库选择PostgreSQL,这位兄弟对我来说的一个优势在于来个几亿条数据,自带的索引可能就能胜任搜索,也不需要分表。PG在这里:

虚拟机还是经典的KVM,qemu基本操作一致。Web环境Nginx+PHP,个人搭建dokuwiki之类的个人知识管理系统,对性能要求不高。数据同步rsync之类的也差不多。


至此基本满足个人数据仓库的需求,接下来打算把文件索引下,建一个本地文件数据库,免得人肉查找麻烦。


需要注意的是:

  1. HP microserver Gen8虽然自带raid卡,但官方表示不支持3G以上的raid,可能是无法支持GPT处理大硬盘。raid可以做raid0、raid1和raid10,不过我没做,舍不得空间,还是人肉备份。

  2. 毕竟是服务器结构,操作起来还是比较纠结和漫长,打算尝试的话最好先做预习。

  3. HP自带驱动对Windows以及Redhat(CentOS)支持较好,其他操作系统可能需要用户亲手驱动的地方比较多。

上面是Linux系统方案,Win的方案也差不多。


最后不得不说,接触HP、IBM等商业机型的时候,经常会被一些温暖的细节打动;比如这台小服务器内置一个USB口和TF卡口,专门为U盘系统或者固件系统考虑,贴心的感觉。




https://blog.sciencenet.cn/blog-1750-973183.html

上一篇:车铣钻刨磨钳铸锻焊
下一篇:关于超光速,学术讨论最好就事论事
收藏 IP: 219.130.46.*| 热度|

4 尤明庆 武夷山 张珑 陈桂华

该博文允许注册用户评论 请点击登录 评论 (5 个评论)

数据加载中...
扫一扫,分享此博文

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2024-11-23 15:39

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部