分享一个自己做的应用--小蛇搜搜(专搜个人博客) - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
爱意满满的作品展示区。
funer
V2EX    分享创造

分享一个自己做的应用--小蛇搜搜(专搜个人博客)

  •  1
     
  •   funer
    funeyu 2020-05-16 06:40:54 +08:00 4839 次点击
    这是一个创建于 1976 天前的主题,其中的信息可能已经有所发展或是发生改变。

    小蛇搜搜

    是一个专搜个人博客的小应用,迄今为止 建千万级别博客索引,爬取十万级别个人独立博客域名;愿景是网罗全网的个人技术博客,做一个纯粹的技术博客搜索平台!

    主要的技术

    一说索引可能有人觉得就是用的es, 其实这里,自己实现索引的时候没有用索引,直接自己动手实现简单的倒排 + skiplist,不光是内存贮存数据,也能支持落盘和从磁盘加载形成倒排等操作;

    项目 demo 地址:http://49.233.52.50/,如果要使用github登录, 需要用本地 charles 代理下域名:www.xiaoshesoso.com 到 http://49.233.52.50; 主要爬取独立博客,并按照博主的热度进行简单排序,也可以时间排序!


    简单的页面样子:
    1. 主页: snake1.png
    2. 搜索页面 snake2.png

    欢迎大家拍砖,试玩,大家有啥好的想法可以一起分享哈,一起多多提建议吧:https://github.com/funeyu/snake-web-server/issues/1


    项目代码

    • 先放出小蛇搜搜的 nodejs 做的前台 server 代码: https://github.com/funeyu/snake-web-server; 该 nodejs 代码基于 koa2 二次封装,项目逻辑比较清晰,欢迎大家加星等操作!!!

    • 后续会依次会将所有的 ui 层( react )代码,索引层代码和爬虫( golang )一并慢慢放出;

    第 1 条附言    2020-05-20 18:38:11 +08:00

    最近简单适配一下手机端,欢迎使用哈,大家有啥好的建议都可以提哈,非常感谢~~~ 后续也会继续完善功能,大家要是觉得好用,也可以广而告之哈 phone1.png phone2.png

    20 条回复    2020-06-17 05:51:41 +08:00
    funer
        1
    funer  
    OP
       2020-05-16 07:06:07 +08:00
    收藏和点赞和踩的功能,必须得是用 github 登录后才能正常使用,用 github 登录,就必须要本地 charles 绑定域名 xiaoshesoso.com, 确实很麻烦,先就这样吧,后面再把域名备案 添加解析~~~~
    calpiswater
        2
    calpiswater  
       2020-05-16 07:07:39 +08:00 via iPhone
    很不错的想法 支持一下 LZ
    zukezz
        3
    zukezz  
       2020-05-16 07:30:43 +08:00 via Android
    支持楼主
    liyaojian
        4
    liyaojian  
       2020-05-16 09:40:36 +08:00 via iPhone
    为什么要用 charles,本地 host 指一下不行?
    geekzhu
        5
    geekzhu  
       2020-05-16 09:50:15 +08:00
    域名没备案的话,可以直接使用腾讯云的 IP 来访问?
    funer
        6
    funer  
    OP
       2020-05-16 09:52:04 +08:00
    @liyaojian 昨天试了本地修改 host,但是还是被腾讯云平台拦截了,不知道腾讯云那里怎么做到的~~
    funer
        7
    funer  
    OP
       2020-05-16 09:53:00 +08:00
    @geekzhu ip 是可以访问的~~
    luckyrayyy
        8
    luckyrayyy  
       2020-05-16 10:03:09 +08:00
    哈你这个 UI 还真是简介,莫名感觉萌萌的
    JustSong
        9
    JustSong  
       2020-05-16 14:00:08 +08:00
    关注了,坐等开源
    funer
        10
    funer  
    OP
       2020-05-16 14:05:52 +08:00
    @luckyrayyy 虽然自己一直从事前端开发,但对页面设计啥的没有啥头绪,后面慢慢找人帮忙设计下~~~
    lazybios
        11
    lazybios  
       2020-05-16 23:39:38 +08:00
    很赞 希望能持续维护下去
    funer
        12
    funer  
    OP
       2020-05-17 05:05:57 +08:00
    @lazybios 会尽力维护下去的~~
    wintercoder
        13
    wintercoder  
       2020-05-17 12:06:34 +08:00
    想法挺好的
    v2ls
        14
    v2ls  
       2020-05-17 16:05:25 +08:00
    支持
    gggyyybbb
        15
    gggyyybbb  
       2020-05-18 09:07:14 +08:00
    楼主抓住了痛点,不错的应用,支持
    herbin
        16
    herbin  
       2020-05-20 11:41:27 +08:00 via iPhone
    666
    funer
        17
    funer  
    OP
       2020-05-21 10:31:40 +08:00
    大家试用的时候,有哪里不爽的,可以一起交流下哈,我这边在下一个版本改下;
    也可以加我微信联系:funer80, 很乐意和大家伙成为朋友~~~~~
    funer
        18
    funer  
    OP
       2020-05-23 09:40:46 +08:00
    网站 ip 访问先暂停段时间~~~~
    Duduchao
        19
    Duduchao  
       2020-06-17 01:11:12 +08:00
    请问:您是把爬到的内容都存到服务器了吗,搜起来这么快
    funer
        20
    funer  
    OP
       2020-06-17 05:51:41 +08:00
    @Duduchao 嗯,是的,原始数据自己爬的,索引排序啥的自己处理
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     5547 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 40ms UTC 07:18 PVG 15:18 LAX 00:18 JFK 03:18
    Do have faith in what you're doing.
    ubao snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86