HASH GAME - Online Skill Game GET 300

　　网络在多个学科中有效地表示实体之间的关系，网络分析技术广泛用于理解各种类型的复杂网络，例如社交网络、生物网络、交通网络。网络分析任务，如社区检测、中心性分析和网络可视化，在许多学科中起着重要作用。然而，现有的网络分析工具在分析大规模网络数据方面效率不足，或者可能不提供全面的分析功能，限制了其实际应用。我们推出了 EasyGraph，一个支持多种网络数据格式并涵盖重要功能的开源库，例如结构孔穿刺检测和网络嵌入。值得注意的是，我们优化了几个关键功能以提高效率。我们相信，EasyGraph 是应对各个领域复杂网络中主要分析任务的强大工具。

　　网络是表示各个学科中实体之间关系和交互的强大工具。然而，现有的网络分析工具和包要么缺乏强大的功能，要么对于大型网络不具有可扩展性。在这个描述中，我们介绍了EasyGraph，这是一个支持多种网络数据格式和强大网络挖掘算法的开源网络分析库。EasyGraph通过混合Python/C++实现和多进程优化，提供了卓越的操作效率。它适用于各个学科，并且能够处理大规模网络。我们通过将关键指标和算法应用于物理、化学和生物学等领域的随机和现实世界网络，展示了EasyGraph的有效性和效率。结果表明，EasyGraph提高了用户的网络分析效率，并降低了进行大规模网络分析的难度。总体而言，它是一个全面且高效的跨学科网络分析的开源工具。

　　随着网络规模的不断扩大，有效分析大量网络数据成为一个主要挑战。此外，满足各个学科的多样化需求需要提供全面的网络分析功能。为了应对这些挑战，已经开发了许多工具和开源库，包括NetworkX（）,14-16 SNAP（）,17-20 igraph（）,21-24 graph-tool（）, Gephi（）,25-27 Cytoscape（）,28,29 和 GraphVis（）。30-33 这些工具提供了一系列的功能和能力，以支持不同学科的网络分析研究。尽管这些工具和包涵盖了网络分析的大多数功能，包括中心性测量34-36、影响力最大化37,38、社区检测3,39和基本网络特征40-42，但它们在几个重要功能方面存在限制。例如，NetworkX和igraph目前不支持网络嵌入。同样，graph-tool和SNAP不支持结构洞识别。然而，这些功能已被证明对于解决重要的理论问题（如基因调控功能的调查43）以及许多应用（如异常检测44和朋友推荐45）以及分子属性预测46,47至关重要。因此，用户必须从头开始实现网络分析的相应功能。这些限制可能导致研究效率降低，以及在复制和基准测试研究结果时的困难。

　　首先，基于其强大的兼容性，EasyGraph可以灵活地建模不同领域的网络数据，并支持多种格式的网络数据。例如，邻接列表格式包含多行具有节点标签的行，其中第一个节点标签是源节点，其他节点标签是目标节点。现有的网络分析库只支持有限的网络格式（例如GraphML、GML），并且没有单一的库能够涵盖不同领域中所有主流的图格式。为了填补这一空白，我们开发了EasyGraph以支持更多样化的网络数据格式，实现增强的兼容性。我们在下面描述了网络数据的可用格式。

　　第二，EasyGraph封装了大量用于不同学科研究的网络分析和表示的指标和算法。其中，代表性功能包括中心性测量、社区检测、结构洞跨越者（SH spanner）检测、49-53模式检测、54-56和网络嵌入。57-61由于EasyGraph集成了这些关键功能，来自不同领域的用户可以在不切换工具的情况下执行他们需要的操作。随后，这不仅会最小化切换成本，还会提高研究效率。我们下面特别强调一个特殊功能，即SH跨越者检测。

　　除了是一个重要的理论贡献外，SH理论还为各个学科提供了重要的应用指导。52,62 SH理论最初由Burt在1992年提出。62根据Burt的说法，在社交网络中，桥接位置在信息传播中起着至关重要的作用。占据这些位置的个体，称为SH跨越者，充当社区之间的经纪人，从而促进不同群体之间的信息和通信流动。SH跨越者分析，是网络科学52,63-65和创新研究66,67中经常使用的一个重要概念，指的是在网络中识别充当不同群体或社区之间桥梁的个体或实体。SH跨越者占据独特的位置，跨越了本来不相连的群体之间的差距，因此对SH跨越者及其连接的社区的分析可以提供有关信息、资源和影响力如何在网络中流动的见解。不同学科的一些近期作品已经基于SH跨越者分析提出了新的探索。Li等人63研究了SH在信息传播中的作用。Saglietto等人64利用文献计量方法回顾了SH文献。根据Yang等人的说法，65转向全公司远程工作使得充当SH跨越者的工作者更难从新的网络连接中获益。Lin等人52介绍了在企业环境、信息传播、软件开发、移动应用和机器学习任务中SH跨越者分析应用的发展。Zaheer等人67发现，创新公司如果能够桥接SH，就能实现性能提升。Ahuja66描述了研究SH对创新影响的理论框架。如上所示，SH跨越者分析的研究已在不同学科中广泛应用，因为SH跨越者在网络中具有特殊的位置优势。

　　近年来，越来越多的方法和算法被提出来检测SH跨越者。然而，这些方法通常由它们的作者在不同的编程语言或平台上实现，有些不是开源的。因此，用户在方便地访问和使用这些方法时面临困难。为了解决这个问题，EasyGraph提供了一系列实现的SH跨越者检测方法，包括HIS、MaxD、HAM、NOBE和NOBE_GA，以及基于信息流算法的MaxBlock和基于网络中心性的算法的WeakTie-Local、WeakTie-Bi、ICC、BICC、AP_BICC、Greedy和AP_Greedy，基于之前的研究。52通过在EasyGraph中整合这些方法，我们旨在为用户提供一个有效的库，以理解SH跨越者在网络分析中的作用。我们的库包括最常用的SH跨越者检测方法，使用户能够选择适合他们特定研究需求的方法。总的来说，EasyGraph填补了SH跨越者检测方法的可用性空白，为用户提供了一个统一和可靠的网络分析需求解决方案。图2展示了EasyGraph中实现的SH跨越者检测的指标和算法。

　　因为Python是一种动态类型语言，缺乏并发性，与其他主流编程语言相比，如C++，相对较慢。因此，大多数纯Python包（例如NetworkX）在处理大规模数据时可能计算性能较差。为了缓解这个问题，我们对几种常用的代表性指标实现了多进程优化。这些指标的计算可以通过多进程进一步优化，因为它们可以单独且无相互依赖地计算。例如，Burt的所有SH指标都可以通过多进程技术优化，因为每个指标是每个节点的属性或值，可以单独计算。

　　我们调查了现有网络分析工具支持的网络数据格式，结果列在表1中。我们选择了代表性的网络分析工具，包括NetworkX、igraph、SNAP、graph-tool、Gephi和Cytoscape。在表1中，人们可以看到有丰富的格式可用于表示网络数据。这可能归因于数据收集和存储过程中没有统一规范的事实。此外，人们也可以看到EasyGraph在处理不同格式的网络数据方面的优越性，这对拥有不同格式网络数据的用户友好。

　　为了展示这四种算法生成的嵌入的各种能力，我们将它们应用于四个代表性的网络数据集，即CiteSeer、Cora、PubMed和PPI。前三个数据集与科学出版物有关，而最后一个数据集是生物学领域中的一个玩具蛋白质相互作用网络。这些数据集的更多信息可以在找到。图4展示了使用t分布随机邻域嵌入（t-SNE）68在四个数据集上基于不同网络嵌入算法的可视化结果。这些算法使用的详细参数设置可在源代码中找到。值得注意的是，在这些子图中，人们可以清楚地看到，具有相同标签的网络节点的嵌入在二维空间中比具有不同标签的节点更接近。基于其独特的能力同时学习一阶相似性和二阶相似性，LINE在大多数数据集上的表现优于其他方法。此外，SDNE表现不佳可能归因于它只将邻接矩阵作为输入，而没有有效地考虑节点特征和标签信息。

　　为了不失一般性，我们在随机网络和现实世界网络上进行了比较。所有比较都在一台装有Inter Xeon CPU E5-2660 v.3 @ 2.60 GHz和150 GB RAM的Linux服务器上进行。具体来说，我们使用了经典的Erdős-Rényi随机网络模型69来生成不同规模的随机网络，节点数从10,000到200,000不等。此外，还选择了来自不同学科的十二个现实世界网络数据集。这些数据集的详细信息列在表2中。我们使用igraph作为代表性的网络分析库进行比较。在时间成本方面，所有实验的迭代次数在有向网络为3次，在无向网络为5次。请注意，在执行最短路径算法和接近中心性功能时，我们只使用了在现实世界网络上对igraph和EasyGraph都采样的相同的1,000个节点。

　　为了研究多进程的优势，我们为不同数量的工作进程选择了不同的设置进行比较。我们检查了EasyGraph中实现的四个代表性功能，即局部聚类系数70、层次结构62、接近中心性34和介数中心性71功能。局部聚类系数是一个度量，用于描述节点在形成聚类时的局部连接。例如，在wiki-Vote网络中，这个度量指的是用户之间的互动有多紧密。层次结构度量可以用来衡量节点作为结构洞跨越者的能力。接近中心性和介数中心性是两个有用的度量，用于识别网络中的重要节点。

　　图5和图6分别展示了EasyGraph在随机网络和现实世界网络上使用多进程的比较分析结果。子图中的垂直轴代表不同的网络，水平轴代表相应功能消耗的时间。图中不同颜色的条表示不同数量的工作进程设置。有趣的是，我们发现并非所有的网络分析算法都能从多进程优化技术中受益。具体来说，多进程技术显著加快了接近中心性和介数中心性等度量的计算，而局部聚类系数的计算效率并未提高。层次结构度量通过多进程技术的改进在随机网络和现实世界网络之间不一致。可能的一个解释是，当网络分析任务可以被分割成可以并行执行的小的、独立的子任务时，多进程最有用。因此，需要仔细考虑多进程的利弊权衡。例如，多进程可以用来提高接近中心性计算的效率，这是一个关键的网络分析度量。通过实现多进程，这样的计算可以分布在多个核心上，从而减少计算时间。然而，多进程对局部聚类系数度量的性能较差。可能的一个解释是多个进程之间的通信开销。此外，多进程技术在不同网络的计算效率取决于不同网络的结构和特征。

　　为了评估Python/C++混合编程的优势，我们考虑了igraph，这是一个在C/C++代码上构建并提供Python接口的网络库，用于比较随机网络和现实世界网络上选定的功能。具体来说，我们选择了六个经典功能，即网络加载、多源迪科斯算法72、介数中心性71、接近中心性34、PageRank中心性41和k核中心性73。网络加载指的是加载网络数据和构建网络对象的操作。多源迪科斯算法用于计算通过网络中一组源节点的最短路径。介数中心性71、接近中心性34、PageRank中心性41和k核中心性73是四个流行的度量，已广泛用于从不同角度测量网络中节点的重要性。例如，接近中心性的度量表示节点在网络中心的位置。PageRank中心性是一种通过量化链接到它的节点的重要性来对节点进行排名的度量。k核中心性是一种基于k核分解测量网络中节点相对重要性的度量。具有较大核数的节点被认为比那些核数值较低的节点更重要。

　　图7展示了EasyGraph与igraph在不同规模的随机网络上使用混合编程的比较分析。所有子图的垂直轴代表不同大小的网络，水平轴代表相应功能消耗的时间。不同颜色的条表示EasyGraph和igraph的结果。图7A揭示了EasyGraph中网络加载功能的执行时间比igraph长，这可以归因于EasyGraph在网络构建过程中考虑了节点类型的多样性。因此，EasyGraph支持任意可哈希的节点类型，同时仍确保网络加载的可接受时间成本。在图7B至7E中，EasyGraph优于igraph，因为EasyGraph采用了包括脏标记设计模式74、单链表数据结构75、线在内的一系列优化技术。

　　具体来说，脏标记设计模式74通常指的是一种使用标志来表示变量状态的编程技术。在EasyGraph中，我们使用脏标记来跟踪网络分析期间变量的状态。因此，EasyGraph只有在某些变量的状态改变时才将更新的值写入内存，这可以显著减少数据写入操作和不必要的开销。单链表75是一种用于存储网络中邻接节点信息的数据结构。当需要对节点进行高效的插入和移除操作时，单链表是有利的。例如，需要动态插入或移除节点和边的网络分析算法可以通过采用单链表数据结构来增强。线是一种树状数据结构，便于对数组的段进行查询。在EasyGraph中，我们使用线段树在迪科斯算法中促进最短路径的识别。此外，基数排序算法78用于将整数拆分为数字，然后按数字比较整数。在EasyGraph中，我们利用这个算法来优化k核功能73。在图7F中，EasyGraph的性能不如igraph。这是因为计算随机网络的k核中心性涉及将单链表转换的额外步骤，这会产生额外的运行开销。

　　图8展示了EasyGraph与igraph在不同学科的现实世界网络上使用混合编程的比较分析。在图8A中，可以看到EasyGraph中网络加载的执行时间比igraph慢。这是因为EasyGraph在交换对不同节点类型的良好兼容性时增加了少量的时间开销。在图8B至8F中，EasyGraph优于igraph，因为它受到上述一系列优化技术的推动。此外，可以看到EasyGraph实现的功能在相对大规模的网络（如email-EuAll和web-NotreDame）上仍然保持优势。例如，在分析email-EuAll网络上的接近中心性时，EasyGraph比igraph节省了将近2,549秒，如图8D所示。关于图8F，单链表75的转换是在构建网络数据时进行的。因此，EasyGraph可以直接计算每个节点的k核中心性，而无需额外的转换开销。

　　网络分析是一个高度跨学科的领域，涵盖了物理学、化学、生物学、数学、社会学、计算机科学、经济学等学科。不同学科中网络数据的普遍性使得网络分析成为探索各种学科共性和独特特征的宝贵工具。通过访问多个领域的丰富数据集，研究人员发现了一些普遍属性，如无标度网络8,79和小世界网络9，这些属性存在于各个学科中。此外，网络分析包括许多重要的研究问题，包括节点中心性计算、社区检测、链接预测、结构洞跨越者(SH spanner)检测、网络可视化以及网络中的信息传播。这些关键研究课题为各个学科的问题提供了指导和见解。例如，社区检测研究在不同领域发现了应用，如在金融场景80,81和公安领域82中识别欺诈团伙。它也用于检测在线。此外，SH跨越者检测研究已应用于多种类型的网络，包括社交网络、供应链网络和道路网络51,52。因此，已经开发并采用了诸如NetworkX、igraph和SNAP等网络分析工具，用于不同学科的研究。这些工具使用户能够探索复杂网络，识别重要的结构和特征，并洞察这些网络的潜在动态。

　　尽管有许多可用于网络分析的工具，但有些可能存在限制，可能潜在地阻碍它们对特定网络数据格式或网络分析任务的适用性。此外，一些工具可能实现效率低下，可能潜在地阻碍它们有效利用可用计算资源的能力。因此，这些限制可能会增加大规模网络的执行时间。为了解决这些问题，我们提出了EasyGraph，这是一个开源工具包，旨在促进跨学科的网络分析。EasyGraph提供了一个易于使用的界面，并支持多种格式的网络数据，使用户能够快速进行网络分析，而不受数据格式的限制。此外，EasyGraph实现了网络分析的一系列重要功能，包括中心性测量、社区检测、SH跨越者检测、模式检测和网络嵌入。此外，EasyGraph采用混合编程（使用Python和C++）实现，并利用多进程技术进一步提高网络分析的效率。我们在不同学科的大规模网络上展示了EasyGraph的性能优势。通过克服现有网络分析工具的限制，EasyGraph为各个领域的用户提供了一个强大和灵活的解决方案，以进行有效的跨学科网络分析。

　　我们的工作可以进行几项改进。首先，为了提高与不同类型的网络的兼容性，我们计划扩展EasyGraph以支持二分网络85,86、异构图87,88、动态网络89和高阶网络90,91。我们相信，支持这些重要但使用较少的网络类型将帮助用户以更灵活的方式构建网络。其次，我们将继续跟踪和实现网络分析功能的最新研究方法，以便EasyGraph可以持续作为用户比较不同网络分析功能的基准平台。这将使我们能够跟上该领域的发展步伐，并为用户提供最先进的网络分析工具。最后，我们将努力将EasyGraph部署为基于云的网络服务，以帮助不熟悉Python编程的用户轻松进行网络分析。通过使EasyGraph更容易被更广泛的受众接受，我们希望鼓励更多用户在他们的工作中利用EasyGraph的力量。

　　因此，建议用户根据他们的需求和网络数据集的规模选择合适的网络分析工具。EasyGraph以及其他网络分析库支持的功能和使用场景已在表3中总结。NetworkX是处理小规模网络数据的有希望的选择，提供了一系列方便的功能，如简单的绘图和算法实现。igraph库为大规模网络数据提供了一些高效的算法和可视化工具。graph-tool库专注于网络的统计分析。Gephi和Cytoscape在网络数据可视化方面都很出色。值得注意的是，EasyGraph支持的网络数据格式比其他工具多。它提供了SH跨越者检测和图嵌入等重要的专门功能。对于包含数千个以上节点的网络，EasyGraph在包括计算最短路径、PageRank中心性、介数中心性、接近中心性和k核中心性等几项重要的网络分析任务上胜过其他工具。