请教一下 NLP 的模型

万物皆可 embedding

楼上说的在理 最近也在想这个

word2vec 很容易很干扰，而得出的结果离设想的差别太大

@raycool 我的想法是设定一个学习的目标，而不是漫无目的的学习

基本的，对大量文档切词（实体识别）统计 共现 就可以了

有监督的话（如果有一些 doc，里面标了 A B 以及 A B 是相似的），这个任务也许可以看做一个类 Corefrence 的任务，也有一些常规做法，mention 的识别 + coref 的分类判定；
总体而言 NLP 的任务强依赖于数据和场景，微小的场景和 performance 要求变化，可能合适的方案完全不同

transformer 吗 bert 吗

attention 机制似乎符合你说的“不是漫无目的地学习”，可以去了解一下 bert

attention 机制似乎符合你说的“不是漫无目的地学习”，可以去了解一下 BERT

怎么相同内容连发了。。

SimHash

语言学中有一个 distributional hypothesis，是说如果两个词它们出现的 context 相似，那么它们的意思一般也相似

这个也是 word2vec 和更古老的 brown cluster 之类的东西的理论基础。

但是需要注意的是相似不代表一样。比如说代表月份的几个词 January, Feburary, etc, 它们出现的 context 相似，意思相似，但含义不是一样的。

首先要有足够大的语料，用需要分析的词汇，计算相互之间的词向量距离，最后统计每个词向量最近的词，那就是相关的，阈值需要不断调

这不是 top modeling 吗？有很多算法啊，LDA，LTSM 等等

word vector 感觉只能做一个 feature engineering 吧

topic modeling*

感谢各位，我一个一个测试，word2vec, doc2vec 我测试了，基本可行，但有个问题

1 ） A，B，C 周围有很多词汇，通过 A 预测 B，或者通过 B 预测 A 和以还可以，但通过其它词汇预测 A，B，C 时就不可用了

@ljpCN
@kaiju
@mumbler

@Braisdom 这大概是因为 word2vec 学到了共现关系，因为共现关系是比 semantic 更好学的。如果不想让 word2vec 学到这种共现关系，直接把 A 、B 、C 用统一特殊字符替代掉，或许会有效。

@RingoTC 你的想法倒是一个好想法。
如果将 A，B，C 进行唯一性 hash 处理，在所有文档中可以通过固定的规则检索，通过周围的词进行预测，只获取符合规则的的词。

@Braisdom 只跑关键词当然只能关键词相互预测，你要全局，那就所有内容分词后全部跑，这个计算量就大了，需要很强的 GPU 或者超算，否则命不够长

@mumbler 我在尝试其它方法，word2vec 的训练总是有问题，有时候非常好，有时候非常差，真搞不清楚