如何实现检查一个大 txt 文件里数据是否重复的功能

使用 BufferedReader 逐行读取,如果只需要排重使用 set 就可以,如果需要重复计数排序可以使用 map

@icedx #10 2K XD 是啥意思

要不咋们跳出单机器的思维，spark 一下？

@nutting 还是老哥想的周全

经常接触过这样的需求，如果不考虑一定要原始文件中字符的顺序，我的选择是 Linux 上的 sort | uniq ，流式处理速度非常快。

直接抄这个

https://github.com/gunnarmorling/1brc

@FreeEx 上次我也看到过有人发过这个链接，就是找不到了，老哥知道原贴吗

duckDB 读入 用 SQL 查询出来？

用正则匹配重复行即可:
^(.+?)$(?=.*?^\1$)

一行脚本可解

```
[ $(cat 1.txt | wc -l) = $(cat 1.txt | awk -F, '{print $1}' | sort -n | uniq | wc -l) ]; echo $?
```

可以用 trie tree （也叫前缀树）来实现，将文本文件打开为一个 stream, 把这个 stream pipe 到一个 trie tree 型对象里面，每一个 insert 之后返回对应节点的指针，然后检查该节点的 count 是否大于 1.

伪代码如下：

let trieTree = new TrieTree();
let lineStream = openStream("data.txt");
while lineStream is not EOF:
let line = lineStream.getLine();
let field1Value = split(line)[0];
let lastNode = trieTree.insert(field1Value);
if (lastNode.count > 1)
print("Repeated.")
return

不过 trieTree 的 insert 操作一般接受的是一个 path ，你把 string 转换成 char[] 再 insert 到 trieTree ，这样 string 也可以看作是 path 。

如果不爆内存，我的做法是

nodejs 读取文件为字符串
换行符/t 分隔字符串为数组
数据把 id map 出来
对数组进行 [...new Set] 变换
判断变换前后 length 是否一致

类似分库分表怎么排序查询 top10 一样处理

老实交代，前几天的上亿裤子，你是不是下完了

@NESeeker 脱裤，就是数据库

@Jirajine 加一，我一听描述感觉就是 TG 上的社工库

准确率要求高么 不高的话可以考虑 HLL

@beyondstars #31 我想到的也是 Trie 数据结构

@HojiOShi chatGPT 用得很溜

id 如果是数字的话，使用位来表示，1G 可以表示 8589934592 个位置。 只需要一个循环。

我比较好奇楼上提到的分段去重怎么做到呢
一段内不重复不代表整个文件不重复，请教下

在 Java 中，检查一个大文本文件中数据是否重复可以通过多种方法实现。以下是一种简单的实现方式：
读取文件中的每一行。
解析每行数据，提取出 id 字段。
将提取出的 id 存储到某种数据结构中，例如 HashSet ，以快速检查重复。
遍历文件，同时检查新读取的 id 是否已经在数据结构中。
以下是一个简单的 Java 代码示例，演示了如何实现这一功能：
import java.io.BufferedReader;
import java.io.FileReader;
import java.io.IOException;
import java.util.HashSet;

public class CheckDuplicate {
public static void main(String[] args) {
String filePath = "path/to/your/file.txt"; // 替换为你的文件路径
String separator = "|"; // 数据字段之间的分隔符

HashSet<String> ids = new HashSet<>();
boolean hasDuplicates = false;

try (BufferedReader br = new BufferedReader(new FileReader(filePath))) {
String line;
while ((line = br.readLine()) != null) {
String[] fields = line.split(separator);
String id = fields[0]; // 假设 id 在第一个字段

if (ids.contains(id)) {
System.out.println("Duplicate ID found: " + id);
hasDuplicates = true;
} else {
ids.add(id);
}
}
} catch (IOException e) {
e.printStackTrace();
}

if (!hasDuplicates) {
System.out.println("No duplicates found.");
}
}
}
在这个代码示例中，我们使用了 HashSet 来存储所有唯一的 id ，因为 HashSet 提供了 O(1)的时间复杂度来检查一个元素是否存在于集合中。这使得检查重复变得非常高效。
请注意，这个代码示例没有进行详细的错误处理，实际应用中可能需要添加更多的异常处理和资源管理代码。此外，根据您的文件大小和内存限制，可能需要考虑使用更高效的数据结构或读取文件的部分内容以避免内存溢出。

@guanzhangzhang #22 2K 金额 XD 笑

没爆内存就 set 存，爆内存就放数据库查

实现一个 func, 以一定的 buffer 顺序读文件, buffer 长度要大于最长匹配词长度的 2 倍, 做匹配, 若匹配到存 offset 或直接返回 bool.

哦, 我以为是匹配给定 keyword 呢, 匹配规律的小数据的话也可以从头读到尾提出来匹配.

sort *.txt | uniq -d