第169章 全國高考滿分狀元(13)
在尹芙·卡莉陈述完成后。
林灰领略到了她的意思。
不过却并没有正面回答尹芙·卡莉的问题。
而是反问尹芙·卡莉：“关于使用向量介入进行语义文本相似度计算你怎么看？”
虽然这是林灰在这次交流中提出的第一个问题。
但这个问题让尹芙·卡莉多少有点措手不及。
尹芙·卡莉不太清楚林灰为什么提出这个问题。
莫非可以不依靠向量来进行语义文本相似度计算吗？
可这怎么能做到呢？
机器识别文本时为了要机器识别自然语言，往往将自然语言数值化。
而将这些数值进行属性区分则必须进行向量化。
这种方法已经有很长时间历史了，尹芙·卡莉记得在1977年（这个时空）就有研究人员首次提出向量空间模型VSM了。
一经提出这种研究方法就比较受欢迎。
虽然很快这种方法就被发现了有不小的漏洞。
利用VSM方法的话，当文本量很大时，生成的文本向量是非常稀疏的，这就导致了空间和计算资源的浪费;
另外VSM为达到简化模型的效果忽略了词语间的关系，而在很多情况下词语之间是存在联系的，因此简单地认为词语间相互独立是不合理的。
尽管有着明显的漏洞，但在之后近四十年的历史中，人们仍然要引入向量进行语义文本相似度分析。
以尹芙·卡莉先前的团队，虽然他们在先前用的是基于网络知识计算文本相似度的方法。
但本质上也只是将Wiki百科中的网页内容映射为高维向量，
再通过基于向量空间的方法进行语义文本相似度计算。
可以说依旧没能离开向量空间的壳子。
虽然四十年后，当年遇到的所谓的“空间和计算资源浪费”某种程度上可以通过硬堆计算力可以暴力解决。
但这仅仅是能解决当年遇到的难题而已。
现在文本处理时面对的信息量复杂程度和当年完全不可同日而语。
此时的向量化面对着全新的困难——维度爆炸！
维度灾难（又名维度的诅咒）是一个最早由理查德·贝尔曼在考虑优化问题时首次提出来的术语，用来描述当数学空间维度增加时，分析和组织高维空间（通常有成百上千维），因体积指数增加而遇到各种问题场景。
当在数学空间上额外增加一个维度时，其体积会呈指数级的增长。
这样的难题在低维空间中不会遇到。
比如物理空间很少会遇到这样的问题，毕竟物理上通常只用三维来建模。
说起来很神奇，尽管物理上很难遇到维度爆炸问题。
但在自然语言处理、机器学习方面维度爆炸是常有的事情。
在这一领域随便一点信息量都会轻而易举地突破三维。
其实在很多领域中，如采样、组合数学、机器学习和数据挖掘都有提及到维度爆炸的现象。
这些问题的共同特色是当维数提高时，空间的体积提高太快，因而可用数据变得很稀疏。
在高维空间中，当所有的数据都变得很稀疏，从很多角度看都不相似，因而平常使用的数据组织策略变得极其低效。
事实上尹芙·卡莉她们先前团队所应用的基于网路知识进行文本相似度衡量时。
如果直接对所有网页进行分析，往往会导致知识含量稀疏计算困难。
事实上，这种情况就是因为维度爆炸所导致的。
尹芙·卡莉很清楚现在这种利用向量引入到语义文本相似度的方法会带来维度爆炸。
林灰为什么突然询问她如何看到将向量引入到计算语义文本相似度呢？
莫非林灰真的有什么办法能够妥善处理维度爆炸这一问题吗？
可是在机器学习、自然语言处理方向的维度爆炸并不是那么容易解决的。
还是说林灰打算干脆绕过向量去衡量语义文本相似度吗？
尹芙·卡莉虽然不知道林灰为什么突然这么问。
但这种有可能得到林灰提点的机会，尹芙·卡莉怎可能轻易放弃。
尹芙·卡莉先是给林灰陈述了一下当前西方在计算语义文本相似度的时候向量通常客串的角色。
而后尹芙·卡莉才正式开始回答林灰先前问她的问题：
“引入向量后才能使得机器更方便的处理语义文本的信息。
如果不引入向量的话在处理语义文本相似度的时候我们能选择的方案很少。
而且不引入向量的情况下，我们在计算语义文本相似度所选择的方案多多少少都有点LOW。
比如说，基于字符串的方法，这种方法都是对原始文本进行比较。
主要包括编辑距离、最长公共子序列、N-Gram相似度等来进行衡量。
就以编辑距离来说吧，其衡量两个文本之间相似度的根据是依据两个文本之间由一个转换成另一个所需的最少编辑操作次数。
这种算法界定的编辑操作包括增加、删除、替换三种。
最长公共子系列是根据……
这套衡量标准甚至有点像MicrosoftWord格式来衡量一般。
基于字符串的方法虽然原理简单、实现方便。
但这种方法没有考虑到单词的含义及单词和单词之间的相互关系。
涉及到同义词、多义词等问题都无法处理。
目前很少单独使用基于字符串的方法计算文本相似度。
而是将这些方法的计算结果作为表征文本的特征融入更加复杂的方法中。
除了这种方法之外，还有……”
林灰对于这些也是了解一些的。
他只是想通过尹芙·卡莉之口判定一下这个时空的研究到底是什么进展的。
基于字符串通过编辑操作、最长公共子系列的方式衡量语义文本相似度确实有点低端。
但低端不等于没用，不能因此就说这种算法没价值。
设想一下，如果文本识别领域取得突破的话。
把界定文本相似度的判断方法和文本识别算法结合在一起的话。
反而是基于字符串判定文本相似度这种方法最为贴切。
毕竟这种基于字符串的判别方法和计算机视觉的直观逻辑形式最为接近的一种。
事实上文本识别算法在后世同样是很寻常的技术。
甚至于随便一个聊天软件的截图工具都能很好的胜任文本识别的任务。
而现在这个时空哪怕一些专门打出文本识别为噱头的软件。
实际上进行的工作只是扫描文稿转成PDF而已。
涉及到实际的文本识别效率低的一批。
林灰感觉似乎又无意间发现了一个商机。
虽然是发现了一个商机，也不适合现在去做。
毕竟涉及到文本识别这方面还是跟计算机视觉这个领域有关系的。
所谓的计算机视觉说白了就是让机器看东西。
这个算是人工智能的一个领域。
这个领域的研究是为了让计算机和系统能够从图像、视频和其他视觉输入中获取有意义的信息。
根据这些信息机器采取行动或提供建议。
如果说人工智能赋予计算机思考的能力。
那么计算机视觉就是赋予发现、观察和理解的能力。
计算机视觉虽然不能说多么复杂吧。
但起码门槛比自然语言处理要高得多。
显然不适合林灰现在掺和。
不过林灰有耐心，林灰默默地将这件事放在了心里。
林灰觉得不能目光太短浅。
有些东西虽然现在看起来很鸡肋。
未必就代表长远角度没有用途。
心念及此，林灰突然觉得很庆幸。
重生之后，前世的经验让其游刃有余。
另一方面，重生带给他让他受益的就是思维上的改变。
涉及到很多事物林灰都会下意识地考虑到长线价值。
甚至不经意间会考虑到十年二十年之后的事情。
有这种长线思维方式。
林灰觉得假以时日他一定能走到一个鲜有人企及的高度。
但这些想法就不足为外人道也。
虽然就基于字符串评价文本相似度的方法和尹芙·卡莉有些分歧。
但林灰并没有表露出来，学术上的交流很多时候也只是求同存异而已。
尹芙·卡莉还在继续陈述着她的看法：
“……我觉得将向量引入到语义文本相似度的衡量确实是一个不错的主意。
不过在介入向量之后，就像打开了潘多拉的魔盒一样。
向量在处理一些语义复杂的文本信息时。
极其容易形成一些高维空间，造成维度爆炸。
出现这种情况后，应用场景经常会变得极其糟糕。
经常出现维度爆炸的问题。
事实上，现在维度爆炸问题已经很制约我们的研究了。
Dear林，不知道您关于这个问题有什么看法呢？”
林灰道：“维度爆炸主要是高维难处理的问题。
既然如此，为什么不考虑将高维进行降维呢？”
林灰的语气是那样的风轻云澹。
仿佛在叙述一件自然而然的事情一般。
降维？将高维的什么进行降维？？
听了翻译同传过来的信息。
尹芙·卡莉有种要吐血的感觉。
她有点想学中文了。
她不知道林灰表达的原意就是将高维转化为低维。
还是说林灰在表述的时候说的是将高维的某物转化的低维但翻译在转达的时候却省略了什么东西。
如果是省略了一些重要的名词那实在是太糟糕了。
到底林灰想表达是将高维数据转化为低维数据？
还是说将高维模型转化为低维模型？
抑或是什么其他含义？
尹芙·卡莉很想询问一下。
不过考虑到林灰先前为了米娜·卡莉做出的贴心之举。
尹芙·卡莉并不好就这种事情让林灰带来的翻译陷入到不安之中。
仔细思索林灰话里的含意。
首先尹芙·卡莉觉得林灰想说的应该不是将高维数据降低成低维数据。
在进行自然语言处理时如果出现了高维数据的话。
在分析高维数据时，确实是可以进行降维的。
也必须要进行降维！
高维数据模型虽然收集到的数据点很多。
但是所收集到的数据通常会散布在一个极其分散广袤的高维空间中。
这种情况下很多统计方法都难以应用到高维数据上。
这也是“维度灾难”存在的原因之一。
林灰领略到了她的意思。
不过却并没有正面回答尹芙·卡莉的问题。
而是反问尹芙·卡莉：“关于使用向量介入进行语义文本相似度计算你怎么看？”
虽然这是林灰在这次交流中提出的第一个问题。
但这个问题让尹芙·卡莉多少有点措手不及。
尹芙·卡莉不太清楚林灰为什么提出这个问题。
莫非可以不依靠向量来进行语义文本相似度计算吗？
可这怎么能做到呢？
机器识别文本时为了要机器识别自然语言，往往将自然语言数值化。
而将这些数值进行属性区分则必须进行向量化。
这种方法已经有很长时间历史了，尹芙·卡莉记得在1977年（这个时空）就有研究人员首次提出向量空间模型VSM了。
一经提出这种研究方法就比较受欢迎。
虽然很快这种方法就被发现了有不小的漏洞。
利用VSM方法的话，当文本量很大时，生成的文本向量是非常稀疏的，这就导致了空间和计算资源的浪费;
另外VSM为达到简化模型的效果忽略了词语间的关系，而在很多情况下词语之间是存在联系的，因此简单地认为词语间相互独立是不合理的。
尽管有着明显的漏洞，但在之后近四十年的历史中，人们仍然要引入向量进行语义文本相似度分析。
以尹芙·卡莉先前的团队，虽然他们在先前用的是基于网络知识计算文本相似度的方法。
但本质上也只是将Wiki百科中的网页内容映射为高维向量，
再通过基于向量空间的方法进行语义文本相似度计算。
可以说依旧没能离开向量空间的壳子。
虽然四十年后，当年遇到的所谓的“空间和计算资源浪费”某种程度上可以通过硬堆计算力可以暴力解决。
但这仅仅是能解决当年遇到的难题而已。
现在文本处理时面对的信息量复杂程度和当年完全不可同日而语。
此时的向量化面对着全新的困难——维度爆炸！
维度灾难（又名维度的诅咒）是一个最早由理查德·贝尔曼在考虑优化问题时首次提出来的术语，用来描述当数学空间维度增加时，分析和组织高维空间（通常有成百上千维），因体积指数增加而遇到各种问题场景。
当在数学空间上额外增加一个维度时，其体积会呈指数级的增长。
这样的难题在低维空间中不会遇到。
比如物理空间很少会遇到这样的问题，毕竟物理上通常只用三维来建模。
说起来很神奇，尽管物理上很难遇到维度爆炸问题。
但在自然语言处理、机器学习方面维度爆炸是常有的事情。
在这一领域随便一点信息量都会轻而易举地突破三维。
其实在很多领域中，如采样、组合数学、机器学习和数据挖掘都有提及到维度爆炸的现象。
这些问题的共同特色是当维数提高时，空间的体积提高太快，因而可用数据变得很稀疏。
在高维空间中，当所有的数据都变得很稀疏，从很多角度看都不相似，因而平常使用的数据组织策略变得极其低效。
事实上尹芙·卡莉她们先前团队所应用的基于网路知识进行文本相似度衡量时。
如果直接对所有网页进行分析，往往会导致知识含量稀疏计算困难。
事实上，这种情况就是因为维度爆炸所导致的。
尹芙·卡莉很清楚现在这种利用向量引入到语义文本相似度的方法会带来维度爆炸。
林灰为什么突然询问她如何看到将向量引入到计算语义文本相似度呢？
莫非林灰真的有什么办法能够妥善处理维度爆炸这一问题吗？
可是在机器学习、自然语言处理方向的维度爆炸并不是那么容易解决的。
还是说林灰打算干脆绕过向量去衡量语义文本相似度吗？
尹芙·卡莉虽然不知道林灰为什么突然这么问。
但这种有可能得到林灰提点的机会，尹芙·卡莉怎可能轻易放弃。
尹芙·卡莉先是给林灰陈述了一下当前西方在计算语义文本相似度的时候向量通常客串的角色。
而后尹芙·卡莉才正式开始回答林灰先前问她的问题：
“引入向量后才能使得机器更方便的处理语义文本的信息。
如果不引入向量的话在处理语义文本相似度的时候我们能选择的方案很少。
而且不引入向量的情况下，我们在计算语义文本相似度所选择的方案多多少少都有点LOW。
比如说，基于字符串的方法，这种方法都是对原始文本进行比较。
主要包括编辑距离、最长公共子序列、N-Gram相似度等来进行衡量。
就以编辑距离来说吧，其衡量两个文本之间相似度的根据是依据两个文本之间由一个转换成另一个所需的最少编辑操作次数。
这种算法界定的编辑操作包括增加、删除、替换三种。
最长公共子系列是根据……
这套衡量标准甚至有点像MicrosoftWord格式来衡量一般。
基于字符串的方法虽然原理简单、实现方便。
但这种方法没有考虑到单词的含义及单词和单词之间的相互关系。
涉及到同义词、多义词等问题都无法处理。
目前很少单独使用基于字符串的方法计算文本相似度。
而是将这些方法的计算结果作为表征文本的特征融入更加复杂的方法中。
除了这种方法之外，还有……”
林灰对于这些也是了解一些的。
他只是想通过尹芙·卡莉之口判定一下这个时空的研究到底是什么进展的。
基于字符串通过编辑操作、最长公共子系列的方式衡量语义文本相似度确实有点低端。
但低端不等于没用，不能因此就说这种算法没价值。
设想一下，如果文本识别领域取得突破的话。
把界定文本相似度的判断方法和文本识别算法结合在一起的话。
反而是基于字符串判定文本相似度这种方法最为贴切。
毕竟这种基于字符串的判别方法和计算机视觉的直观逻辑形式最为接近的一种。
事实上文本识别算法在后世同样是很寻常的技术。
甚至于随便一个聊天软件的截图工具都能很好的胜任文本识别的任务。
而现在这个时空哪怕一些专门打出文本识别为噱头的软件。
实际上进行的工作只是扫描文稿转成PDF而已。
涉及到实际的文本识别效率低的一批。
林灰感觉似乎又无意间发现了一个商机。
虽然是发现了一个商机，也不适合现在去做。
毕竟涉及到文本识别这方面还是跟计算机视觉这个领域有关系的。
所谓的计算机视觉说白了就是让机器看东西。
这个算是人工智能的一个领域。
这个领域的研究是为了让计算机和系统能够从图像、视频和其他视觉输入中获取有意义的信息。
根据这些信息机器采取行动或提供建议。
如果说人工智能赋予计算机思考的能力。
那么计算机视觉就是赋予发现、观察和理解的能力。
计算机视觉虽然不能说多么复杂吧。
但起码门槛比自然语言处理要高得多。
显然不适合林灰现在掺和。
不过林灰有耐心，林灰默默地将这件事放在了心里。
林灰觉得不能目光太短浅。
有些东西虽然现在看起来很鸡肋。
未必就代表长远角度没有用途。
心念及此，林灰突然觉得很庆幸。
重生之后，前世的经验让其游刃有余。
另一方面，重生带给他让他受益的就是思维上的改变。
涉及到很多事物林灰都会下意识地考虑到长线价值。
甚至不经意间会考虑到十年二十年之后的事情。
有这种长线思维方式。
林灰觉得假以时日他一定能走到一个鲜有人企及的高度。
但这些想法就不足为外人道也。
虽然就基于字符串评价文本相似度的方法和尹芙·卡莉有些分歧。
但林灰并没有表露出来，学术上的交流很多时候也只是求同存异而已。
尹芙·卡莉还在继续陈述着她的看法：
“……我觉得将向量引入到语义文本相似度的衡量确实是一个不错的主意。
不过在介入向量之后，就像打开了潘多拉的魔盒一样。
向量在处理一些语义复杂的文本信息时。
极其容易形成一些高维空间，造成维度爆炸。
出现这种情况后，应用场景经常会变得极其糟糕。
经常出现维度爆炸的问题。
事实上，现在维度爆炸问题已经很制约我们的研究了。
Dear林，不知道您关于这个问题有什么看法呢？”
林灰道：“维度爆炸主要是高维难处理的问题。
既然如此，为什么不考虑将高维进行降维呢？”
林灰的语气是那样的风轻云澹。
仿佛在叙述一件自然而然的事情一般。
降维？将高维的什么进行降维？？
听了翻译同传过来的信息。
尹芙·卡莉有种要吐血的感觉。
她有点想学中文了。
她不知道林灰表达的原意就是将高维转化为低维。
还是说林灰在表述的时候说的是将高维的某物转化的低维但翻译在转达的时候却省略了什么东西。
如果是省略了一些重要的名词那实在是太糟糕了。
到底林灰想表达是将高维数据转化为低维数据？
还是说将高维模型转化为低维模型？
抑或是什么其他含义？
尹芙·卡莉很想询问一下。
不过考虑到林灰先前为了米娜·卡莉做出的贴心之举。
尹芙·卡莉并不好就这种事情让林灰带来的翻译陷入到不安之中。
仔细思索林灰话里的含意。
首先尹芙·卡莉觉得林灰想说的应该不是将高维数据降低成低维数据。
在进行自然语言处理时如果出现了高维数据的话。
在分析高维数据时，确实是可以进行降维的。
也必须要进行降维！
高维数据模型虽然收集到的数据点很多。
但是所收集到的数据通常会散布在一个极其分散广袤的高维空间中。
这种情况下很多统计方法都难以应用到高维数据上。
这也是“维度灾难”存在的原因之一。
温馨提示：按 回车[Enter]键 返回书目，按 ←键 返回上一页， 按 →键 进入下一页，加入书签方便您下次继续阅读。