权重计算方法最新

跨境运营2024-06-01

阅读 0
msc225

欢迎关注慕思城:

                   

1. TF-IDFTF-IDF(词频-逆文件频率)是一种常用的权重核算方法,它考虑了词语在文档中呈现的频率和在整个语料库中的普遍性。


TF-IDF 的核算公式如下:TF-IDF(t, d) = TF(t, d)  IDF(t)TF(t, d) 表明词语 t 在文档 d 中呈现的频率。IDF(t) 表明词语 t 在整个语料库中的逆文件频率,核算公式为:IDF(t) = log(N / df(t)),其中 N 是语料库中文档的数量,df(t) 是包括词语 t 的文档数量。

2. (最佳匹配 25)是另一种常用的权重核算方法,它归纳考虑了词频、文档长度和查询长度等因素。 的核算公式如下:(t, d, q) = TF(t, d)  IDF(t)  (( + 1)  tf(t, q)) / (  (1 - b + b  DL / AVGDL) + tf(t, q))tf(t, q) 表明词语 t 在查询 q 中呈现的频率。


DL 是文档 d 的长度。AVGDL 是语料库中所有文档的均匀长度。 和 b 是可调整的参数,一般取  = 1.2,b = 0.75。

3. LSALSA(潜在语义剖析)是一种根据奇特值分解(SVD)的权重核算方法,它能够捕获单词之间的语义相似性。LSA 的核算进程如下:将语料库转换为一个词项文档矩阵,其中行表明文档,列表明单词。对词项文档矩阵进行奇特值分解,得到 U(左奇特向量矩阵)、S(对角奇特值矩阵)和 VT(右奇特向量矩阵)。对 U 和 VT的前 k 个主成分进行切断,形成新的词项文档矩阵。权重为新词项文档矩阵中的元素。

4. LDALDA(潜在狄利克雷分配)是一种根据贝叶斯统计的权重核算方法,它能够发现语料库中的主题。LDA 的核算进程如下:随机初始化文档-主题和主题-单词分配。根据文档-主题分配和主题-单词分配,核算每个词语在每个主题下的概率。根据每个词语在每个主题下的概率,更新文档-主题分配和主题-单词分配。重复步驟 2-3 直到收敛。收敛后,每个词语在每个主题下的概率能够作为权重。

5. BERTBERT(双向编码器表明变换)是一种根据 Transformer 的预训练语言模型,它能够供给精密的语义表明。BERT 能够通过微调来执行权重核算任务。能够将 BERT 用作特征提取器,通过一个全衔接层将 BERT 的输出映射到权重。挑选权重核算方法权重核算方法的挑选取决于详细使用的需求和语料库的特性。以下是一些辅导准则:TF-IDF:适用于小型语料库和稀疏文档。:适用于大型语料库和稠密文档。LSA:适用于需求捕获语义相似性的使用。

LDA:适用于需求发现主题的使用。BERT:适用于需求精密语义表明的使用。结论权重核算是文本挖掘和信息检索的重要组成部分。挑选合适的权重核算方法能够提高检索效果和文本了解的准确性。本文介绍了最新的权重核算方法,并供给了挑选辅导准则。                

这个问题还有疑问的话,可以加幕思城火星老师免费咨询,他的微信号是 huoxing051

点击加我微信【没看懂?那就加我微信直接一对一沟通交流】
>

更多资讯请关注幕思城。

推荐阅读:

拼多多代运营公司靠谱吗-拼多多运营商可靠吗-拼多多问答

入驻抖音需要审核多久-抖音入驻审核不通过-抖音问答

拼多多怎么获取流量?流量有什么用?-拼多多问答电商问答

权重
0 条评论
点击加载
文章教程工具
店铺指导服务 >>
返回资讯工具教程首页