有什么敏感词数据源推荐吗 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
请不要在回答技术问题时复制粘贴 AI 生成的内容
Bumon
V2EX    程序员

有什么敏感词数据源推荐吗

  •  
  •   Bumon
    bumony 2024-06-04 17:44:00 +08:00 2786 次点击
    这是一个创建于 543 天前的主题,其中的信息可能已经有所发展或是发生改变。

    或者有什么好的获取敏感词的方法,想了个爬取海量评论做语义初筛再标注,但感觉不太优雅,不知道 v 友们有没有更好的想法带来点启发

    12 条回复    2024-06-18 10:17:06 +08:00
    sEz3br0Ozxa989XX
        1
    sEz3br0Ozxa989XX  
       2024-06-04 18:16:31 +08:00
    freshgoose
        2
    freshgoose  
       2024-06-04 18:17:10 +08:00
    github 上有人收集了很多
    shiluanzzz
        3
    shiluanzzz  
       2024-06-04 18:19:31 +08:00
    p 主没明确说敏感词是哪些 zz ?还是通用的
    https://platform.openai.com/docs/guides/moderation/overview openai 的这个过滤的 api 可以试试?
    vivisidea
        4
    vivisidea  
       2024-06-04 18:22:41 +08:00
    现在已经不流行用敏感词了,直接上 NLP 模型分类,bert 啥的
    Lshl56B4vDqdixwK
        5
    Lshl56B4vDqdixwK  
       2024-06-04 18:23:09 +08:00
    国新办清查词单?
    qviqvi
        6
    qviqvi  
       2024-06-04 20:25:05 +08:00
    最好国家出一个标准,不然不好处理
    wangjh0802
        7
    wangjh0802  
       2024-06-05 11:16:16 +08:00
    @qviqvi 这东西还能有标准? 哈哈哈哈哈哈哈哈哈
    duzhuo
        8
    duzhuo  
       2024-06-05 11:39:32 +08:00
    @qviqvi 这就好像在说把你的 G 点告诉我。。。。
    maladaxia
        9
    maladaxia  
       2024-06-05 14:52:51 +08:00
    @duzhuo 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7
    azarasi
        10
    azarasi  
       2024-06-05 15:26:26 +08:00
    什么是敏感词本身就是敏感的
    ray2023
        11
    ray2023  
       2024-06-05 15:56:05 +08:00
    https://github.com/cjh0613/tencent-sensitive-words, 之前有个项目用的这个, 但是还是需要自己去维护一下, 因为有些词并不符合自己的规则
    Bumon
        12
    Bumon  
    OP
       2024-06-18 10:17:06 +08:00
    @shiluanzzz 政治类的能很容易得到,但歧视类等比较容易模糊词意但又会有的就有点难获取到,谢谢你的链接

    @Hayashikawa 这种算是第三方服务了,我这边有需求是自己维护一份来着

    @freshgoose yesyes ,有在交友网找到一些公开的词库,在 v 发帖也是想看看有没有更丰富的源
    @vivisidea 哥们说的这个也有在做,但就,还是需要维护一份词库 hhh
    @qviqvi 国家确实也有标准,但是标准只有分类没有内容,具体内容还得自己维护
    @ray2023 谢谢老哥的分享

    谢谢各位 v 友的分享!
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     2528 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 25ms UTC 04:08 PVG 12:08 LAX 20:08 JFK 23:08
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86