客户有一台服务器,里面有一个很重要的信息系统,不能停机。系统经过这么多年的运行,

兰姐看科技 2024-11-29 20:43:07

客户有一台服务器,里面有一个很重要的信息系统,不能停机。系统经过这么多年的运行,积累产生了7个多TB的数据。这些数据都是一些大小十几KB的千千万万个小图片文件。

现在,客户想把这些数据拷贝出来,拿到其他地方使用。

一开始,拿了一个大容量移动硬盘,复制粘贴的方式用了一整天,还在建索引,1小时才能拷贝100多GB数据。按这样的速度,一周都拷贝不完。使用的时候,再回考到其他服务器,还得至少一周。时间太长,就被取消了。

后来又在虚拟化平台的高速磁盘阵列上分配一个虚拟硬盘,通过NFS方式挂载到服务器系统上,拷贝了一天,速度也不理想。

关键是服务器不能停机,业务系统不能停,服务器网络负载和磁盘IO还很高。除了网络和USB接口,似乎也没有其他可选择的拷贝方式。

有什么好的办法,几天内解决问题?

2 阅读:60263
评论列表
  • 2024-11-30 06:04

    你专业干这个的你来UC问?那你从UC招个人替你吧[得瑟][得瑟]

    王健 回复:
    uc是娱乐频道
    王健 回复:
    明白人
  • ~~~~ 127
    2024-11-29 21:34

    这么大的数据量,肯定是做增量同步啊,第一次长时间的在线复制,后面多次的增量同步,最后才停机做最后1次增量后切换

    该用户已诈尸 回复:
    你没注意到1小时拷100多g么,7个多t至多三天就拷完了,无聊作者还在文章里问有没有什么办法可以几天内拷完的[晕]
    该用户已诈尸 回复:
    拷数据的我不懂[哭笑不得]原来拷数据这么麻烦的[哭笑不得]
  • 笨蛋!先这样,再那样不就得了吗?

    你若撒野 老子我把酒奉陪 回复:
    有道理
    非凡 回复:
    用华为5g一个小时拷完
  • 2024-11-30 05:23

    插m.2转typec硬盘盒,m.2硬盘选缓外写速度快的,用脚本分卷压缩或直接复制,加强m.2散热。好的硬盘盒速度5Gbps、10Gbps甚至20Gbps,看服务器usb接口了。还有一种更快的方式,热插拨m.2转pcie硬盘,硬盘要缓外写快的,用脚本分卷压缩过去。两种方式,可以用脚本控制写满缓外等一会,能节约资源。

    武寒旭 回复:
    如果拖慢速度的原因是服务器硬盘慢,那就没办法了。
    不动如山 回复:
    那也还是USB3.1的速度
  • 2024-11-30 14:30

    数据迁移的关键是稳定安全,一个月能干完就干一个月嘛。想着走捷径反而容易出问题。

  • 2024-11-30 12:42

    我碰到过这种问题。典型的是医疗影像文件。你这8个T不算什么,我碰到的是40个t左右,从原来的 硬盘阵列转移到新的阵列里去,而且不能停机不能对业务有大的影响。怎么处理?我知道,可是我就是不告诉你。[滑稽笑]

    相信科学的刘禅 回复:
    哈哈,其实真没多少技术。不过电脑这一块就是这样。有些时候并不一定能说有多少技术。有些问题的解决就是靠你的"灵机一动",或者说靠的是你的工作实际经验。
    螺丝钉 回复:
    这货反正在这问就是不给钱就想白嫖别人的成果
  • jhbcd 44
    2024-11-30 07:37

    先看你自己是不是老板,如果是打工的,出差有补贴的,2周补贴到手,你慌个啥?[赞]

    看什么看 回复:
    [点赞]
    难消瘦 回复:
    老板也不是傻的。按单算钱。耗一个月都是你的事。看谁急些。[哭笑不得]
  • 2024-11-30 01:19

    这种非结构化的小文件最麻烦

    双子座_鹰鹰 回复:
    追加说明一下,方法有很多,应用层面、网络层面、存储层面都可以,主要看准备花多少钱,以及急迫性。另外你在UC上问方案,找错了地方,一般人给提供的办法都是个人级的,看你的需求应该是企业级的,不是一码事。企业级的方案是有技术含量的,是别人的饭碗。
    ahladin 回复: 双子座_鹰鹰
    对头,这玩意是钱💰的问题,这种迁移方案和高手不要太多
  • 2024-11-30 09:56

    既然在UC上问,那用UC的办法当然是对着这个机器按Ctrl+C了嘛,把整个机器都复制下来,然后带走就可以

    zsanhui 回复:
    我认为这是最好的方法,没有之一
    健仔 回复:
    3D打印一台一模一样的机器就行了[doge][捂脸哭]
  • 2024-11-29 23:35

    先建存储式压缩包文件,然后再复制,再解压

    用户16xxx38 回复:
    压缩并不是为了压缩而是为了把众多小文件变成一个大文件,选择压缩率为0的压缩就行
    jenemy 回复:
    0压缩,只打包
  • 2024-11-29 22:21

    dd直接从块设备复制。用usb硬盘盒,复制完直接安到机器上去,不要再一套了。

    北漂菜狗 回复: 北漂菜狗
    我不太懂它的逻辑卷设置,如果可以逻辑卷打快照,快照就是一个静态的块设备,dd复制这个快照,是不会有问题的
    北漂菜狗 回复:
    他这个应该是一直增加数据的,可能会新的文件系统有问题不一致,用文件系统修复工具修复一下,,然后再用rsync做增量同步,我觉得问题不大。假如100MB的usb速度,24小时内能复制8T数据,可以试试。
  • 2024-11-30 07:29

    建议设立双机热备份,数据自动同步,弄好不用管了,自动同步后拿到另一个地方使用

    will 回复:
    10机也不够用
  • 2024-11-30 08:08

    用带有最新且最快的接口做个镜像服务器,镜像服务器上带热备份,同时将镜像服务器映射到数据硬盘上,直接用硬盘备份速度最快。不过我想不通的是,这服务器没有只塞主硬盘,不做数据硬盘备份的吗?如果有数据备份盘,直接把备份盘拆走不就行了

    20up 回复:
    我之前在一家连锁药店做服务器管理维护,期间就更换了一台新服务器,晚上12点之后停机拆了备份硬盘,安装到新的服务器,这样数据最准确
    王八蛋来怼我啊 回复: 20up
    是的,毕竟你这个时间段是有一个截止相当于有个时间的
  • 傲人 22
    2024-11-30 07:36

    不能停机你这个无解的,只能做同步增量备份了,第一次同步按照一周时间准备吧。

  • 2024-11-30 11:25

    大量小文件最好的处理方法就是块复块。直接磁盘克隆不要用拷贝文件方式,好果用全备份加增量备份也可以,不影响系统运行,但时间很长,估计要一二周。

  • 2024-11-30 08:29

    干财务的会告诉你来一场恰到好处的小火[开怀大笑]

    不吃画眉 回复:
    6
  • 2024-11-30 05:32

    ghost

    糖尿病害女友蛀牙 回复:
    可以不停机g
    圆滚滚与胖嘟嘟 回复:
    可以先拷贝固定数据,短时变化的数据等拷贝完了,再实现数据同步修复
  • 2024-11-30 08:23

    放老鼠要断电源线

  • 2024-11-30 14:03

    不能停机,你不做备份早干嘛去了?如果硬盘突然挂了那才更搞笑了。

  • 2024-11-30 09:04

    你有多少用户不能停机?阿里腾讯都有过全网宕机不能用的时候。

    糖尿病害女友蛀牙 回复:
    他们有备用服务器 这种客户属于小客户 就一个服务器
  • 增量同步是最优解

  • 2024-11-30 09:18

    我怀疑这是在招特工[微笑][微笑][微笑]

  • 2024-11-30 08:48

    这个应该支持热插拔硬盘的吧!插入大容量硬盘进去然后再复制过去速度不就快了好多

    回复:
    服务器不可能不支持热插拔的
  • 2024-11-30 12:31

    用灾备服务器,整体备份,块传输。虚拟启用后,实体和虚拟做数据同步传输,最后虚拟入网,实体拔网。这是理想条件,实际应用中肯定还是有小问题的,遇见再说吧

  • 2024-11-30 23:26

    要是告诉你怎么解决,给多少钱,估计是想白嫖解决办法

  • 2024-11-30 11:45

    深夜来一次意外停电,不行来个windows蓝屏,没有常规路就趟一条常规路出来呀

  • 2024-11-30 18:24

    UC大神多,这种问题都有

  • 2024-11-30 08:11

    偷国家机密文件的吧

  • 2024-11-30 08:27

    这样的服务器一定可以热加载硬盘,知道了怎么做了吧?

  • 2024-11-30 17:31

    像这种情况我都是直接扫一眼,然后用我的意念光速传输至指定设备,不要说100个TB ,1000个都不在话下,两秒钟就能搞定

    用户12xxx22 回复:
    你要上天了吧地球容不下你了
  • 2024-12-02 07:55

    cp 命令不就好了

  • 2024-11-30 23:36

    我是做古董字画的,我告诉你,用刀片可以把硬盘分成几层就得到几个副本了,像你这样只分一份的太容易了[呲牙笑]

  • 2024-12-01 18:52

    大家不要说!以免上当!这可是真间谍想去偷情报的!举报吧!这是行走的50万

  • 2024-11-30 07:24

    如果可以重启,试试M2硬盘,或者pci挂载。这样拷贝传送速度快多了

  • 2024-11-30 17:04

    一个小时100G,7T一个星期????

    水漾 回复:
    体育好的算一下
  • 2024-11-30 09:13

    找三六零,他们专业[哭笑不得]

  • 2024-11-30 14:15

    多一台服务器,同步数据,叠个端口20XG-40XG应该够咯,基本2天拉完。

  • 2024-11-30 23:24

    管它个球!纯粹技术挑刺!既然重要,还没有备份服务器。让老板赔死算球!就算赔不死,也要让它眼看着商机赚不到!不然,这种铁公鸡,永远都只会怪手底下的人干活不给力!

  • 2024-11-30 11:21

    在系统里做个软的磁盘镜像不就好了[哭笑不得]

  • 2024-12-03 09:26

    1小时100G,12小时1T,7T也就三天半,你说一周都拷不完???数学学成这样还被推送?

    メ 单 视 角 ㄣ ~✅ 回复:
    超大文件拷贝,会越来越慢。
  • 2024-11-30 08:46

    有阵列的话挂个san,直接考过去就行了。

  • 2024-11-30 08:45

    可以用ghost方式把整个分区复制过去

    路人甲 回复:
    复制有速度瓶颈
  • 2024-12-09 08:14

    客户出5万解决这个问题(假设),你就准备一毛不拔在网上提问等网友给你免费解决?

  • 2024-12-12 16:14

    笨蛋,重新启动不就搞定了!!![抠鼻][抠鼻][抠鼻][抠鼻][抠鼻][抠鼻]

  • 简单啊,直接拉闸断电,爱咋咋地!

  • 2024-11-30 23:56

    1天100G,7天700G,7个T?好吧!我是老实人,你们来欺负我吧!

  • 2024-11-30 19:46

    网速都比你快,你还不如凌晨去机房拷贝!

  • 2024-11-30 19:34

    在原机建立传输协议,多线程连续拉取

  • 2024-11-30 08:43

    按照你这个文件结构,又不能停机,只能听天由命慢慢拷贝吧。无解

  • 2024-11-30 19:31

    服务器老式机械硬盘神仙也没法。

  • 2024-11-30 18:22

    趁这机会建议(忽悠)客户搭建两地三中心,他数据安全有保障,你还能赚一笔[滑稽笑]

  • 2024-11-30 18:54

    做个服务器维护,暂停服务不就好了

  • 2024-11-30 06:53

    不能停机那就茨它一泡

  • 2024-11-30 23:00

    只是把文件拿到别的地方用,cp命令很难吗[静静吃瓜]

  • 2024-12-01 17:13

    增加几十个t再不就得了

  • 2024-11-30 20:25

    dd一下

  • 2024-11-30 14:59

    长年积累的垃圾想要几天清理了真是做梦

  • 2024-12-04 08:10

    买华为商用储存

  • 2024-12-02 10:14

    复制盘,做一个一样的raid,随便造

  • 2024-12-09 16:56

    不是哥们,这么大数据不备份,不分布式储存?

  • ljy 4
    2024-12-20 12:27

    服务器迁移

  • 2024-12-31 01:36

    应该用pcie16转雷电硬盘是最快的啦。

  • 2025-01-03 23:19

    我为什么猛的想起来了卡车拉硬盘[裂开][裂开][裂开]

  • 2025-01-10 21:44

    设备一起搬过去

  • 2025-01-12 13:20

    1 文件打包以后再拷贝,小文件很浪费时间的 2换一个多线程文件拷贝工具,支持并发拷贝, windows自带文件管理器很垃圾的,

  • 2024-11-30 16:23

    你一个人干慢,多找两个人一起干呗

  • 2024-11-30 14:17

    大鱼号变成了问答号,还是提问的那一方😓

  • 2024-12-11 08:29

    内部还有没有接口 pci接口也行 接一个机械硬盘或者固态拷贝就快很多

  • 2024-12-09 02:49

    花点钱找别人做吧

  • 2024-11-30 22:11

    思路(低成本) 1.不停机不停业务下旧文件的异机传输(nfs是个思路) 2.新增文件的实时同步 3.拷贝完成后,还要做文件的校验,小文件要确认拷贝过去是正常的(md5)校验 2.化费一定成本的,找数据实时复制软件工具(或者公司)来给你服务

  • 2024-11-30 16:21

    谢邀,人在新乡,刚下火车…[大笑]

  • 2024-11-30 21:12

    chatgpt帮你解决问题。问别人,凭啥告诉你。

  • 2024-11-30 09:37

    你网管不会干活?

  • 2024-11-30 08:30

    没raid1么

  • 2024-12-01 01:07

    如此重要的信息系统没有实时异地备份?当时怎么考虑数据安全的?

  • 2024-11-30 15:36

    你来UC应该问问有什么大片,哪个网站比较流畅

  • 2024-11-30 17:58

    一次复制一部分,复制太多就会慢

  • 2024-11-30 20:12

    慢慢拷贝吧 别投机取巧 2周后就成功了

  • 2024-11-30 18:26

    就是想偷数据吧,正常不会没有备份的。

  • 2024-11-30 15:56

    一小时100g,你这还不如固态硬盘

  • 2024-12-01 14:29

    两个硬盘,复制部分数据,完成后拿去新服务器粘贴,轮流来,能省一半时间。

  • 2024-12-02 20:59

    按文件夹一个一个的复制,蚂蚁搬家别着急

  • 2024-12-01 23:16

    8t也不大,要快的方法也有就是点风险,在服务器做个新raid,把数据复制到新raid里,把raid盘拿到新服务器上恢复raid就行了,安全就停下机装个10G卡对拷也快。

  • 2024-12-02 13:46

    都是小文件,本地压缩后再拷,会快几十倍,因为复制小文件大部分时间都浪费在创建磁盘文件索引上了

  • 2024-12-02 17:30

    我备份过T级得数据,大概一分钟1T左右的速度,需要一个设备就可以了。

    用户13xxx43 回复:
    啥设备?
  • 2024-12-02 17:46

    7个T,关不能停系统。具体说说,是谁家的垃圾需求

  • 2024-12-03 18:17

    一个星期怎么计算的,一小时100多G,一天2.3G ,3天多不就拷完了吗?

  • 2024-12-13 09:09

    用菊花大法。然后默念遥遥领先遥遥领先就好了

  • 2024-12-14 20:52

    之前我碰到的是300G,差不多300多万个文件,显示要一天,直接疯了,然后花了半小时写了个多线程复制的工具,一下开20个线程,硬盘io直接拉满,二十分钟搞定

  • 2024-12-14 15:52

    简单,给钱我说。

  • 2024-12-14 22:12

    这是个商业间谍吧?大家注意点不要帮他

    我是谁 回复:
    拉倒吧,就这点事专业的很好解决,不专业的也不靠这挣钱。
  • 2024-12-18 06:11

    局域网接个NAS

  • 2024-12-19 18:49

    拷贝我不行烤串还行

  • 2024-12-20 10:12

    这么重要的系统没有备份么😙

  • 2024-12-31 21:42

    等你想到办法,两周时间早就过了

  • 2024-12-30 17:43

    这事可不是免费就能得到的技术了

  • 2025-01-03 19:21

    用磁盘阵列raid0复制不就OK了[静静吃瓜][静静吃瓜]

  • 2025-01-14 14:49

    游戏服务器就是这样的,玩家越来越多,玩家数据越来越高。

  • 2025-01-16 12:16

    重要,不能停机,大量数据,这种情况竟然没有同步的备灾服务器就离谱。慢慢拷贝吧,别整幺蛾子,万一为了提升速度搞丢源文件你就呵呵了

  • 2024-12-18 17:24

    复制粘贴就好了[抠鼻]