背景

我想创建一个字典,每个单词都有一个用于嵌入单词的唯一ID。数据集如下所示:

s_lists = [['I', 'want', 'to', 'go', 'to', 'the', 'park'],
           ['I', 'want', 'to', 'quit', 'the', 'team']]

以下函数正在生成字典

def build_dict(input_list, start=2):
    """
    build dictionary
    start with 2，1 for unknow word，0 for zero padding

    :param input_list:
    :param start:
    :return: custom dictionary
    """

    whole_set = set()
    for current_sub_list in input_list:
         # remove duplicate elements
        current_set = set(current_sub_list)
        # add new element into whole set
        whole_set = whole_set | current_set
    return {ni: indi + start for indi, ni in enumerate(whole_set)}

它的工作和输出

{'I': 7,'go': 2,'park': 4,'quit': 8, 'team': 6,'the': 5,'to': 9,'want': 3}

问题

当我将它用于大型数据集(大约50W字符串)时,它的成本大约为 30秒 (ENV MBPR15-I7)。它是 太慢了 我想寻找一个提高性能的解决方案,但目前我还不知道。