这是一个创建于 2080 天前的主题，其中的信息可能已经有所发展或是发生改变。
因为牵扯到海量数据，所以对效率还是比较敏感的。用 JAVA 自带的 Contains 嵌套感觉效率应该不太行吧，有没有大佬推荐下，最好有现成的轮子。
 | 1 woodensail 2020-03-23 19:45:26 +08:00 你的需求是，搜索引擎？ |
 | 2 NeinChn 2020-03-23 19:47:50 +08:00 不知道场景，不过大概也就那么几种解决方案，比如 Trie 之类的，模式匹配之类的。 |
 | 3 ebony0319 2020-03-23 19:48:23 +08:00 不知道 Guava 集合类型-Multiset 不知道能不能满足你的要求 |
 | 4 ysn2233 OP @woodensail 用 Spark/Flink 跑 TB 级的历史 RAW 数据，类似 grep 的操作找关键词 |
| 5 ysn2233 OP 看到了 ahocorasick 算法这个不知道合不合适 |
 | 6 watera 2020-03-23 20:00:02 +08:00 via Android 不是 AC 自动机吗 |
| 7 NeinChn 2020-03-23 20:03:06 +08:00 如果你是存在上亿输入，每一次一行一行在几十 /几百万候选集中进行匹配 那你就用 Trie/AC 自动机做 如果你就是一行一行找几个关键词，随便做，效率差不了多少。 |
 | 8 ipwx 2020-03-23 20:04:57 +08:00 场景描述再清晰一点。。。 - - - - 比如你是不是要从一整个数据库一堆较长的字符串里面，找少数一些不怎么长的字符串是否出现？如是的话，这个场景的基本思路是预先对你数据库里面的字符串进行切片索引，然后你的查询字符串也切片，根据切片结果可以缩小查询范围。类似于全文检索，不过去掉了一些比如停用词或者分词之类的操作。 |
| 9 ipwx 2020-03-23 20:06:44 +08:00 好吧楼主是一个字符串里面找其他字符串。。。那我觉得其实也可以用上面这个思路改编，你把原始的字符串切段，然后用更小的切片（比如长度为 3 、为 5 ）进行索引。把查询字符串也切片，根据索引能缩小查询范围，大大加快查找速度 |
Select Language