如何高效地冷存储大量图片? - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
Recommended Services
Amazon Web Services
LeanCloud
New Relic
ClearDB
naoh1000
V2EX    云计算

如何高效地冷存储大量图片?

  •  1
     
  •   naoh1000 2020-10-25 19:58:04 +08:00 10402 次点击
    这是一个创建于 1814 天前的主题,其中的信息可能已经有所发展或是发生改变。

    我们公司的 app 活跃用户大约有 800 万。最近产品经理要求做一个实名认证功能,要求上传身份证照片,审核完后基本没人看了,请问这些数据应该存数据库里还是作为文件单独存储?如果存数据库会不会导致数据库很大,大量小图片作为文件存储会不会不方便备份?虽然这不是我一个前端该管的事,但我正在打算转后端,想了解一下大佬们是怎么解决这问题的。

    75 条回复    2020-10-28 08:06:32 +08:00
    fxXkcCpEveryday
        1
    fxXkcCpEveryday  
       2020-10-25 19:59:15 +08:00 via iPhone
    使用象存
    opengps
        2
    opengps  
       2020-10-25 20:05:19 +08:00 via Android
    对象存储有冷存储的方案,比实时读写要便宜,每次取用得先解冻
    tanghongkai
        3
    tanghongkai  
       2020-10-25 20:05:59 +08:00   36
    身份证照片为啥要存,实名完等着卖黑产吗?
    opengps
        4
    opengps  
       2020-10-25 20:10:19 +08:00 via Android   2
    @tanghongkai 任何一家服务商都会存的,不然出问题连线索都提供不了,冷存储是比较安全的做法,不像某些站点的做法(可遍历爬取)
    wangyzj
        5
    wangyzj  
       2020-10-25 20:50:16 +08:00   4
    实名认证用专门的服务商不就行了,不用上传身份证
    shakaraka
        6
    shakaraka  
    PRO
       2020-10-25 20:55:55 +08:00
    oss 归档储存
    qwerthhusn
        7
    qwerthhusn  
       2020-10-25 20:56:42 +08:00
    存到 OBS,建议单独建一个 Bucket,然后这个 Bucket 严格控制读写权限
    JensenQian
        8
    JensenQian  
       2020-10-25 21:12:11 +08:00   1
    实名认证要不直接走支付宝的,我只是提供一个建议 https://opendocs.alipay.com/mini/introduce/alipay-verfify
    Mitt
        9
    Mitt  
       2020-10-25 21:28:37 +08:00   2
    通常就是接入云服务商的存储系统,比如对象存储,自建的话就是单独的一套存储系统比如 TFS 、GFS (当然只是举个例子,实际还是要各方面考量),至于备份等等这些事情其实就属于运维管辖了,也都是有冷热备份方案的,然后合理性上的话,实名认证功能是不会自己做的,人工审核成本大,还要考虑伪造身份证等因素,所以最好的方法就是接入第三方认证机构,比如支付宝、微信或者其他支持活体认证的第三方,有个好处就是有他们的实名技术背书,即便要求调档也只需要提供该用户的真实姓名、身份证号就足够了,如果企业自己运作实名审核的话就要考虑万一出现安全事故,大量身份证照片泄露的后果是非常严重的(当然这就不是一个开发的考虑范畴了)。
    ericbize
        10
    ericbize  
       2020-10-25 21:30:31 +08:00 via iPhone
    云的 oss, 冷数据不贵
    swulling
        11
    swulling  
       2020-10-25 21:31:34 +08:00 via iPhone   1
    @opengps 保留身份证号和姓名就已经足够了,保存身份证图片有什么意义?

    实名的意义不就是出事了把身份证号给 jc 么
    Jerami
        12
    Jerami  
       2020-10-25 21:39:17 +08:00 via Android   11
    好小子实名认证说干就干,我都以为是连到公安局的网络最验证,自己没有资格审核用户的数据,没想到居然如此随便!
    loliordie
        13
    loliordie  
       2020-10-25 21:45:40 +08:00 via Android
    没人吐槽 800 万用户就算全部上传也就 8 个 T 的数据么 这个数据量实在没啥好说的 选个便宜的存储丢着就行了
    loliordie
        14
    loliordie  
       2020-10-25 21:47:00 +08:00 via Android   3
    @Mitt 同意 如果在国外擅自保存用户证件信息怕是不知道死字怎么写
    threeEggs123
        15
    threeEggs123  
       2020-10-25 22:17:31 +08:00 via Android
    aws s3 glacier 完美解决
    nooper
        16
    nooper  
       2020-10-25 22:42:42 +08:00   5
    这种数据泄露,或者被交易,你们是哪家公司?我对避免用你们的 app
    ruri
        17
    ruri  
       2020-10-25 22:50:45 +08:00 via Android   1
    活跃 800w ?想知道是哪个公司,我避个雷?
    fkmc
        18
    fkmc  
       2020-10-25 23:09:11 +08:00 via iPhone
    离职后给个提示
    omL72EEc
        19
    omL72EEc  
       2020-10-25 23:15:53 +08:00
    可以随便存的么?也太恐怖了,怪不得搞身份这么便宜
    lpts007
        20
    lpts007  
       2020-10-25 23:16:36 +08:00 via Android   5
    t/712465

    用户也是倒了血霉了。
    lpts007
        21
    lpts007  
       2020-10-25 23:17:51 +08:00 via Android
    不过也理解,都是打工人。
    OldActorsSmile
        22
    OldActorsSmile  
       2020-10-25 23:25:00 +08:00
    调用百度网盘 api,存储到百度网盘,免费。我的图床( https://imgbed.cn )连续 1 年没人访问的也会冷存储
    naoh1000
        23
    naoh1000  
    OP
       2020-10-26 01:01:15 +08:00
    @tanghongkai
    @wangyzj
    @nooper
    @ruri 我工作过的几家还算大的公司都是随便存的...


    @lpts007 麻烦读一下题目,这块不归我管,只是想让大家分享一下好的方法。
    yrj
        24
    yrj  
       2020-10-26 03:55:39 +08:00 via iPad
    人家 800 万活跃用户,各位大佬就不要推荐网盘之类的奇淫技巧了,直接 oss 归档存储,记得加密。
    laike9m
        25
    laike9m  
       2020-10-26 05:00:00 +08:00 via Android   17
    所以说尽可能避免国产 app,这话绝对不错
    Perry
        26
    Perry  
       2020-10-26 05:02:24 +08:00 via iPhone   3
    做这种东西在国外可以被告到破产
    raaaaaar
        27
    raaaaaar  
       2020-10-26 07:12:58 +08:00 via Android
    活跃用户好像要去重来着,一个产品这么多用户吗?
    td width="48" valign="top" align="center">yqm1024
        28
    yqm1024  
       2020-10-26 07:22:30 +08:00
    实名吗?文件存储有点那个了吧
    kimi0
        29
    kimi0  
       2020-10-26 07:32:11 +08:00 via iPhone
    如上所说,这种东西根本就不该存。
    delectate
        30
    delectate  
       2020-10-26 08:04:39 +08:00   2
    都是打工人,何必为难楼主?骂也要骂这个奇葩的时代。

    阿里云 oss 或者腾讯云的低频数据存储就行了。
    huihuilang
        31
    huihuilang  
       2020-10-26 08:19:36 +08:00 via Android
    哪个公司的?这种存身份证的辣鸡公司准备举报一波
    katana97
        32
    katana97  
       2020-10-26 08:22:01 +08:00
    酷安也是这样,开发者手持身份证的图片认证完了不删也就算了,还直接在开发者后台里展示出来,前几天偶然看到吓的我把开发者认证都取消了
    YLGG
        33
    YLGG  
       2020-10-26 08:23:58 +08:00
    为何这种收集用户隐私的行为在我天朝这么肆无忌惮呢?
    Jerami
        34
    Jerami  
       2020-10-26 08:57:33 +08:00 via Android
    @YLGG 因为我们的法律落后于当前科技,更何况中国文化自古以来人与人之间距离不是特别明显,也不特别看重隐私,所以推广实名制人脸识别几乎没有遭到反对,相反,你要是重视还会被说中国哪有什么隐私,什么身正不怕影子斜你有问题?甚至被扣上崇洋媚外的帽子。
    fengchang
        35
    fengchang  
       2020-10-26 09:01:00 +08:00
    为什么提供线索要身份证照片,因为警察拿身份证号查不到?
    sunmoon1983
        36
    sunmoon1983  
       2020-10-26 09:14:21 +08:00
    @OldActorsSmile 百度网盘有 api 吗?
    linvaux
        37
    linvaux  
       2020-10-26 09:27:27 +08:00 via iPhone
    麻烦说一下是哪个 app,我好避雷,存身份证照片,怕是别有用心
    polymerdg
        39
    polymerdg  
       2020-10-26 10:19:05 +08:00
    实名认证不是 连 API 验证吗 为啥还好保留 身份证
    黑产?
    sogwsc
        40
    sogwsc  
       2020-10-26 10:34:16 +08:00
    @Jerami 不重视隐私 却重视实名 现在是个平台都要绑手机+实名认证 真是奇葩
    qinyusen
        41
    qinyusen  
       2020-10-26 10:39:33 +08:00
    序列化之后对象存储, 有点儿像标注数据的原始数据或者是脏数据,随便儿用个 HDFS,然后进行块备份就好。
    因为搬运和存储是整块数据,copy 起来速度快, 然后直接切片存到冷备份对应机架,然后对应机架只能特定 IP 和端口访问,冷备份就是 copy 完,拔硬盘就完了,当做热备份也行,做好数仓和后端的割裂就行了,我一般做法很土,就是对后端只有写接口,没有读和删改接口。改请人工到另一个内网位置提交修改就好,然后人工审核后 prove 进去(大规模的,就直接敲黑板找老板说行为非法)。
    然后如果需要查询,就直接再后一级做一次脱敏, 身份证后 x 位直接抹掉(简单的 opencv+打码),头像打码, 地址打码,打码程度视脱敏规模。
    Kagari
        42
    Kagari  
       2020-10-26 10:39:52 +08:00 via Android
    你们真就相信其他 app 没有存?
    Jerami
        43
    Jerami  
       2020-10-26 10:45:23 +08:00 via Android
    @sogwsc 因为不重视隐私所以实名制才能快速推广,没有收到民众抵制(况且也不敢抵制,毕竟都清楚根本目的是什么)
    efaun
        44
    efaun  
       2020-10-26 10:45:58 +08:00
    @sogwsc #40 老大哥很注重你的“隐私”的,所以才会实名
    huayumo
        45
    huayumo  
       2020-10-26 10:46:15 +08:00
    现在都是走支付宝的实名接口,
    EZG997
        46
    EZG997  
       2020-10-26 10:53:32 +08:00   1
    就目前国内互联网行业的状况,实名制不知道到底方便了谁,隐私就是这么泄露的。
    Stain5
        47
    Stain5  
       2020-10-26 10:57:57 +08:00
    直接打印出来好像很可行
    800w 条信息 一张纸打印 20 条 每分钟打印 200 张
    大约 30 个小时就完工了

    安全性
    可靠性
    wangyzj
        48
    wangyzj  
       2020-10-26 11:05:08 +08:00
    @naoh1000 #23 一定要存的话就是 oss 这类的对象存储就可以了,本地就是用 ceph 或者 hdfs 之类的把
    eason1874
        49
    eason1874  
       2020-10-26 11:06:40 +08:00   1
    先建议产品经理别存储。

    如果存储,不用问都知道有一些不可告人的目的。那就要为自己负责,现在有法律法规对个人信息的存储进行规定,也推出了一些标准,建议去了解,免得将来出事了自己也被连累。

    从技术操作上说,比较简单粗暴的办法是:每个文件内容都用随机密钥加密存到一个文件名为编号的文本文件,归档存储,然后把编号、原文件属性信息、随机密钥和用户 ID 通过非对称公钥加密,存到数据库。

    这样只要执行过程不泄露,就算代码、公钥、数据库字段和文件都泄露了,也解密不了内容,保护好私钥安全就行。
        50
    futandrew  
       2020-10-26 11:13:26 +08:00 via iPhone
    @Perry emmm 寻思着国外个人信息不是基本全公开吗?网上类似功能一找一堆,充钱即可解锁基本所有信息
    PhpBestRubbish
        51
    PhpBestRubbish  
       2020-10-26 11:17:35 +08:00   1
    实名认证不是用第三方 API 吗?为啥你们要存身份证照片?
    PhpBestRubbish
        52
    PhpBestRubbish  
       2020-10-26 11:18:46 +08:00
    @Kagari 我们的 App 就没有存身份证照片
    weizhen199
        53
    weizhen199  
       2020-10-26 11:25:13 +08:00
    @futandrew 我咋记得只有前科犯会被公开
    mjjfl
        54
    mjjfl  
       2020-10-26 11:27:05 +08:00
    @naoh1000 腾讯云对象存储有归档存储。归档存储提供了最低的存储单价,但读取数据的时候需要较长的解冻时间,因而适合需要长期保存数据的业务场景。可联系我打折,V:am9veXVuY29t
    kaopuyunluzh
        55
    kaopuyunluzh  
       2020-10-26 11:30:43 +08:00
    腾讯云新政策 @
    1 、累计预付费订单金额大于等于6600元且月均预付费订单分摊金额累计大于等于550元,可赠送元 5000 代金券
    2 、累计预付费订单金额大于等于38800元且月均预付费订单分摊金额累计大于等于3300元,可赠送 2 万元代金券
    futandrew
        56
    futandrew  
       2020-10-26 11:35:12 +08:00 via iPhone
    @weizhen199 国内是这样的,还有失信人员。国外人基本全透明。包括名字,亲属关系,手机号,家庭住址等常见的隐私信息。常见的有 anywho, 411 等。
    我记得还有那种直接定位的,就是你输入名字然后直接展示距离你比如 300 公里里面的所有叫这个名字的位置。
    简单点的可看影视作品《网络迷踪》了解更多(
    shifttacn
        57
    shifttacn  
       2020-10-26 11:53:26 +08:00
    有资质么,就要求实名认证
    IDAEngine
        58
    IDAEngine  
       2020-10-26 13:10:08 +08:00 via iPhone
    用磁带存了,几百年都在
    idblife
        59
    idblife  
       2020-10-26 13:14:12 +08:00
    s3
    imherer
        60
    imherer  
       2020-10-26 14:00:45 +08:00
    s3 +1
    easymbol
        61
    easymbol  
       2020-10-26 14:37:12 +08:00
    直接使用第三方的支付认证接口,自己存储风险太高
    usdc
        62
    usdc  
       2020-10-26 16:08:51 +08:00
    @linvaux #37 先说你上传身份中到过哪
    isnullstring
        63
    isnullstring  
       2020-10-26 18:00:32 +08:00
    800w 用户 ,就算最终只有 10W 人上传身份证,转手卖出去,也不少钱喔
    DoctorCat
        64
    DoctorCat  
       2020-10-26 18:09:12 +08:00
    哎,说个题外话,这种非 PCI-DSS 认证过的服务真的是不敢用了。
    正题:国际案例来看亚马逊 AWS S3 是可以的。你们存储要考虑使用符合安全等级的产品和服务商!!! 不然泄漏或者被查技术负责人要抓去爆菊的。
    code2019
        65
    code2019  
       2020-10-26 19:15:12 +08:00
    华为云 OBS 对象存储
    alect
        66
    alect  
       2020-10-26 20:15:13 +08:00
    请告诉我到底是哪个 APP,我要避免入坑。
    reus
        67
    reus  
       2020-10-26 21:00:45 +08:00 via Android
    泄露了要坐牢的!找第三方,别作死
    reus
        68
    reus  
       2020-10-26 21:04:16 +08:00 via Android
    https://www.secrss.com/articles/26427 个人信息保护法在起草,估计施行不远。现在不早做准备?
    yolee599
        69
    yolee599  
       2020-10-27 08:58:06 +08:00 via Android
    想不到这种敏感信息处理这么随便
    madpecker009
        70
    madpecker009  
       2020-10-27 14:38:59 +08:00
    @tanghongkai 来自灵魂的拷问
    ryanlid
        71
    ryanlid  
       2020-10-27 14:49:46 +08:00
    我敢打堵一块钱,绝大部分要求上传身份证、手持身份证的网站、APP,证件都没有删除

    支付宝、微信...的各种申请也没有
    anyforever
        72
    anyforever  
       2020-10-27 15:30:09 +08:00
    要求手机号的就忍了,要求实名认证的,还是不用为好
    myqoo
        73
    myqoo  
       2020-10-27 15:31:41 +08:00
    加密后存储到免费空间上 - -
    Oysmart
        74
    Oysmart  
       2020-10-27 22:03:35 +08:00
    法律多熟读,能使用第三方就使用第三方吧,这叫转移风险,如果出现安全问题,老板估计就得进去喝茶了。
    steptodream
        75
    steptodream  
       2020-10-28 08:06:32 +08:00
    所以说一般的 APP 除非不是 100%必须 真的是不要上传证件 所有人和公司都一样 第一原则都是方便自己
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     3936 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 30ms UTC 10:18 PVG 18:18 LAX 03:18 JFK 06:18
    Do have faith in what you're doing.
    ubao snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86