客户有一台服务器,里面有一个很重要的信息系统,不能停机。系统经过这么多年的运行,积累产生了7个多TB的数据。这些数据都是一些大小十几KB的千千万万个小图片文件。
现在,客户想把这些数据拷贝出来,拿到其他地方使用。
一开始,拿了一个大容量移动硬盘,复制粘贴的方式用了一整天,还在建索引,1小时才能拷贝100多GB数据。按这样的速度,一周都拷贝不完。使用的时候,再回考到其他服务器,还得至少一周。时间太长,就被取消了。
后来又在虚拟化平台的高速磁盘阵列上分配一个虚拟硬盘,通过NFS方式挂载到服务器系统上,拷贝了一天,速度也不理想。
关键是服务器不能停机,业务系统不能停,服务器网络负载和磁盘IO还很高。除了网络和USB接口,似乎也没有其他可选择的拷贝方式。
有什么好的办法,几天内解决问题?
你专业干这个的你来UC问?那你从UC招个人替你吧[得瑟][得瑟]
这么大的数据量,肯定是做增量同步啊,第一次长时间的在线复制,后面多次的增量同步,最后才停机做最后1次增量后切换
笨蛋!先这样,再那样不就得了吗?
插m.2转typec硬盘盒,m.2硬盘选缓外写速度快的,用脚本分卷压缩或直接复制,加强m.2散热。好的硬盘盒速度5Gbps、10Gbps甚至20Gbps,看服务器usb接口了。还有一种更快的方式,热插拨m.2转pcie硬盘,硬盘要缓外写快的,用脚本分卷压缩过去。两种方式,可以用脚本控制写满缓外等一会,能节约资源。
数据迁移的关键是稳定安全,一个月能干完就干一个月嘛。想着走捷径反而容易出问题。
我碰到过这种问题。典型的是医疗影像文件。你这8个T不算什么,我碰到的是40个t左右,从原来的 硬盘阵列转移到新的阵列里去,而且不能停机不能对业务有大的影响。怎么处理?我知道,可是我就是不告诉你。[滑稽笑]
先看你自己是不是老板,如果是打工的,出差有补贴的,2周补贴到手,你慌个啥?[赞]
这种非结构化的小文件最麻烦
既然在UC上问,那用UC的办法当然是对着这个机器按Ctrl+C了嘛,把整个机器都复制下来,然后带走就可以
先建存储式压缩包文件,然后再复制,再解压
dd直接从块设备复制。用usb硬盘盒,复制完直接安到机器上去,不要再一套了。
建议设立双机热备份,数据自动同步,弄好不用管了,自动同步后拿到另一个地方使用
用带有最新且最快的接口做个镜像服务器,镜像服务器上带热备份,同时将镜像服务器映射到数据硬盘上,直接用硬盘备份速度最快。不过我想不通的是,这服务器没有只塞主硬盘,不做数据硬盘备份的吗?如果有数据备份盘,直接把备份盘拆走不就行了
不能停机你这个无解的,只能做同步增量备份了,第一次同步按照一周时间准备吧。
大量小文件最好的处理方法就是块复块。直接磁盘克隆不要用拷贝文件方式,好果用全备份加增量备份也可以,不影响系统运行,但时间很长,估计要一二周。
干财务的会告诉你来一场恰到好处的小火[开怀大笑]
ghost
放老鼠要断电源线
不能停机,你不做备份早干嘛去了?如果硬盘突然挂了那才更搞笑了。
你有多少用户不能停机?阿里腾讯都有过全网宕机不能用的时候。
增量同步是最优解
我怀疑这是在招特工[微笑][微笑][微笑]
这个应该支持热插拔硬盘的吧!插入大容量硬盘进去然后再复制过去速度不就快了好多
用灾备服务器,整体备份,块传输。虚拟启用后,实体和虚拟做数据同步传输,最后虚拟入网,实体拔网。这是理想条件,实际应用中肯定还是有小问题的,遇见再说吧
要是告诉你怎么解决,给多少钱,估计是想白嫖解决办法
深夜来一次意外停电,不行来个windows蓝屏,没有常规路就趟一条常规路出来呀
UC大神多,这种问题都有
偷国家机密文件的吧
这样的服务器一定可以热加载硬盘,知道了怎么做了吧?
像这种情况我都是直接扫一眼,然后用我的意念光速传输至指定设备,不要说100个TB ,1000个都不在话下,两秒钟就能搞定
cp 命令不就好了
我是做古董字画的,我告诉你,用刀片可以把硬盘分成几层就得到几个副本了,像你这样只分一份的太容易了[呲牙笑]
大家不要说!以免上当!这可是真间谍想去偷情报的!举报吧!这是行走的50万
如果可以重启,试试M2硬盘,或者pci挂载。这样拷贝传送速度快多了
一个小时100G,7T一个星期????
找三六零,他们专业[哭笑不得]
多一台服务器,同步数据,叠个端口20XG-40XG应该够咯,基本2天拉完。
管它个球!纯粹技术挑刺!既然重要,还没有备份服务器。让老板赔死算球!就算赔不死,也要让它眼看着商机赚不到!不然,这种铁公鸡,永远都只会怪手底下的人干活不给力!
在系统里做个软的磁盘镜像不就好了[哭笑不得]
1小时100G,12小时1T,7T也就三天半,你说一周都拷不完???数学学成这样还被推送?
有阵列的话挂个san,直接考过去就行了。
可以用ghost方式把整个分区复制过去
客户出5万解决这个问题(假设),你就准备一毛不拔在网上提问等网友给你免费解决?
笨蛋,重新启动不就搞定了!!![抠鼻][抠鼻][抠鼻][抠鼻][抠鼻][抠鼻]
简单啊,直接拉闸断电,爱咋咋地!
1天100G,7天700G,7个T?好吧!我是老实人,你们来欺负我吧!
网速都比你快,你还不如凌晨去机房拷贝!
在原机建立传输协议,多线程连续拉取
按照你这个文件结构,又不能停机,只能听天由命慢慢拷贝吧。无解
服务器老式机械硬盘神仙也没法。
趁这机会建议(忽悠)客户搭建两地三中心,他数据安全有保障,你还能赚一笔[滑稽笑]
做个服务器维护,暂停服务不就好了
不能停机那就茨它一泡
只是把文件拿到别的地方用,cp命令很难吗[静静吃瓜]
增加几十个t再不就得了
dd一下
长年积累的垃圾想要几天清理了真是做梦
买华为商用储存
复制盘,做一个一样的raid,随便造
不是哥们,这么大数据不备份,不分布式储存?
服务器迁移
应该用pcie16转雷电硬盘是最快的啦。
我为什么猛的想起来了卡车拉硬盘[裂开][裂开][裂开]
设备一起搬过去
1 文件打包以后再拷贝,小文件很浪费时间的 2换一个多线程文件拷贝工具,支持并发拷贝, windows自带文件管理器很垃圾的,
你一个人干慢,多找两个人一起干呗
大鱼号变成了问答号,还是提问的那一方😓
内部还有没有接口 pci接口也行 接一个机械硬盘或者固态拷贝就快很多
花点钱找别人做吧
思路(低成本) 1.不停机不停业务下旧文件的异机传输(nfs是个思路) 2.新增文件的实时同步 3.拷贝完成后,还要做文件的校验,小文件要确认拷贝过去是正常的(md5)校验 2.化费一定成本的,找数据实时复制软件工具(或者公司)来给你服务
谢邀,人在新乡,刚下火车…[大笑]
chatgpt帮你解决问题。问别人,凭啥告诉你。
你网管不会干活?
没raid1么
如此重要的信息系统没有实时异地备份?当时怎么考虑数据安全的?
你来UC应该问问有什么大片,哪个网站比较流畅
一次复制一部分,复制太多就会慢
慢慢拷贝吧 别投机取巧 2周后就成功了
就是想偷数据吧,正常不会没有备份的。
一小时100g,你这还不如固态硬盘
两个硬盘,复制部分数据,完成后拿去新服务器粘贴,轮流来,能省一半时间。
按文件夹一个一个的复制,蚂蚁搬家别着急
8t也不大,要快的方法也有就是点风险,在服务器做个新raid,把数据复制到新raid里,把raid盘拿到新服务器上恢复raid就行了,安全就停下机装个10G卡对拷也快。
都是小文件,本地压缩后再拷,会快几十倍,因为复制小文件大部分时间都浪费在创建磁盘文件索引上了
我备份过T级得数据,大概一分钟1T左右的速度,需要一个设备就可以了。
7个T,关不能停系统。具体说说,是谁家的垃圾需求
一个星期怎么计算的,一小时100多G,一天2.3G ,3天多不就拷完了吗?
用菊花大法。然后默念遥遥领先遥遥领先就好了
之前我碰到的是300G,差不多300多万个文件,显示要一天,直接疯了,然后花了半小时写了个多线程复制的工具,一下开20个线程,硬盘io直接拉满,二十分钟搞定
简单,给钱我说。
这是个商业间谍吧?大家注意点不要帮他
局域网接个NAS
拷贝我不行烤串还行
这么重要的系统没有备份么😙
等你想到办法,两周时间早就过了
这事可不是免费就能得到的技术了
用磁盘阵列raid0复制不就OK了[静静吃瓜][静静吃瓜]
游戏服务器就是这样的,玩家越来越多,玩家数据越来越高。
重要,不能停机,大量数据,这种情况竟然没有同步的备灾服务器就离谱。慢慢拷贝吧,别整幺蛾子,万一为了提升速度搞丢源文件你就呵呵了
复制粘贴就好了[抠鼻]