收集的信息进行预测。转换器建议几个可能的下一个单词并确定每个建议的单词在给定上下文中的合适程度。但自注意力是如何发挥作用的呢自注意力允许模型将句子中的单词相互关联。句子中的每个单词都可以从任何其他单词中获取上下文信息。以我们之前看到的为例看到他的主人并享受他的。这里自注意力机制将评估与存在相关的每个单词。它的工作原理是这样的模型计算句子中每个单词与存在的相关程度的注意力分数。该模型了解和与有很强的关系因为根据上下文可以指代和。这些注意力分数有助于模型建。
对句子的语义理解并正确
完成它这个注意力分数是如何计算的每个单词由三个向量表示 巴哈马电话号码列表 查询向量键向量和值向量。这些向量在训练过程中被学习和更新。理解查询键和值向量的一个简单方法是将其与在线购物过程进行比较。想象一下您正在网上搜索特定产品例如跑鞋您的查询。然后密钥被视为分配给每个项目的产品描述或属性。有些项目具有跑鞋等属性其他项目具有凉鞋靴子等属性。当您的查询跑鞋与键跑鞋匹配时该匹配会获得高分。您可以将价值视为与这些特征相关联的实际产品。因此当跑鞋您的查询与键跑鞋匹配时您将获得正是您正在寻。
找的产品值回到我们的变
压器单词的查询向量用于询问每个其他单词 数据库美国 应该受到多少关注。另一个单词的键向量用于通过根据其相对含义给出相应的权重来回答这个问题。值向量用于体现单词的内容。在计算注意力分数时模型会分析查询您的问题与句子中每个键标签的匹配程度然后为这些匹配的值内容赋予更多权重。在实践中注意力分数是通过将焦点词的查询向量乘以每个其他词的关键字向量来计算的。然后使用该分数对值向量进行加权构建一种加权平均值使模型能够专注于更重要的单词。然后该组合值被传递到变压器模型的下一阶段其中模型确定。
