在 Word2Vec 模型中，CBOW（Continuous Bag of Words，连续词袋模型）和 Skip-gram（跳元模型）是两种核心的网络结构，它们的主要区别在于预测方向、训练速度以及对低频词的处理效果。

<<< 左右滑动见更多 >>>

1. 预测机制（核心区别）

• CBOW 的核心思想是在固定滑动窗口内，根据上下文词来预测中心词。它会将窗口内所有上下文词对应的词向量取均值，作为输入来预测中心词的概率分布。

  

• Skip-gram 的核心思想则刚好相反，它是根据中心词来预测其上下文各个词。它利用中心词的向量表示，去最大化滑动窗口中所有上下文词出现的条件概率。

  

2. 训练效率与性能

• 训练速度：CBOW 通常比 Skip-gram 训练速度更快。

• 低频词效果：Skip-gram 在处理低频词（不经常出现的词）时表现更好，能够捕捉更丰富的语义关系。

• 滑动窗口大小：在实际应用中，CBOW 的窗口大小通常设置在 5 左右，而 Skip-gram 的窗口大小通常设置在 10 左右。

• 词向量的构成：

• 在这两种模型中，上下文词和中心词通常分别来自不同的权重矩阵（输入矩阵  和输出矩阵 ）。最终，通常取上下文词对应的权重矩阵作为训练完成后的词向量表示。

3 总结

• CBOW 就像是一道“完形填空”题：老师把句子中间的一个词挖掉，让你根据前后的词推测中间填什么。
• Skip-gram 就像是“据词造句”：老师给你一个词，让你想象它在不同的句子里周围可能会出现哪些词。