本文介绍了从word2vec模型获取距离矩阵和特征矩阵的处理方法，对大家解决问题具有一定的参考价值，需要的朋友们下面随着小编来一起学习吧！
问题描述
我已经使用gensim为一个巨大的语料库生成了word2vec模型，我需要使用k均值聚类来对词汇表进行聚类，以满足我的需要：
- 余弦距离矩阵(字对字，因此矩阵的大小为字数x字数)
- 要素矩阵(字对要素，因此矩阵的大小是字数x要素数(200))
对于特征矩阵，我尝试使用x=Model.wv，得到的对象类型为gensim.Models.keyedvetors.KeyedVectors，它比我预期的要小得多。特征矩阵将是
是否有方法可以直接使用此对象生成k-Means聚类？
推荐答案
在gensim的word2vec模型中，原始的number_of-words x number_of_features数字向量数组位于model.wv.vectors中。(在较早的Gensim版本中，.vectors属性命名为.syn0与原始Googleword2vec.c命名相匹配)。
您可以使用model.wv.key_to_indexdict(以前的.vocab)来学习字符串标记到数组槽的赋值，或者使用model.wv.index_to_key列表(以前的.index2word)来学习数组槽到词的赋值。
成对距离不是预先计算的，因此您必须自己创建。对于典型的词汇量，它可能是不切实际的大。(例如，对于100,000个单词的词汇表，以最有效的方式存储所有成对距离大约需要100,000^2 * 4 bytes/float / 2 = 20GB个可寻址空间。
这篇关于从word2vec模型获取距离矩阵和特征矩阵的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持编程学习网！
本站部分内容来源互联网,如果有图片或者内容侵犯您的权益请联系我们删除！