An effective algorithm for load balancing in P2P systems based on DHT

In a DHT-based P2P system, various factors such as node heterogeneity and different file access rates may affect the efficiency of the DHT system. This paper proposes an effective load balancing algorithm in a DHT-based P2P system. The algorithm proposes a fully distributed mechanism to maintain the historical information of file access to predict the future file access frequency. A new load balancing algorithm is designed. When a new node is added, the historical information and node heterogeneity are used together to determine the optimal load distribution. If an overloaded node appears during system operation, load redistribution can also be performed dynamically. The algorithm does not use virtual servers, reducing the processing overhead of maintaining routing metadata. P2P has attracted attention from industry and academia for its good and reliable performance, such as autonomy, organization, and effective utilization of computer resources. However, unbalanced load will cause longer file reading delays and affect the overall performance of the system. Therefore, it is necessary to design a good load balancing algorithm. In an ideal structured P2P system, nodes and files are evenly distributed, nodes have the same performance and equal file access frequency, and the system load is evenly distributed. However, when using the conflict-free node ID generation algorithm to randomly generate identifiers [1], the difference between the maximum and minimum identifier space sizes can be on the order of O(nlogn). Computer resources, such as computing power, storage capacity, and network bandwidth, can vary by 3 to 5 orders of magnitude between different nodes [2]. If a large identifier space is assigned to a node that does not have enough resources and the load is evenly distributed, it may cause serious load imbalance problems. Many other factors, such as file access frequency, can vary by 3 orders of magnitude and file sizes can also vary greatly. All current DHT load balancing algorithms ignore at least one or more of the above factors and cannot guarantee optimal performance. This paper proposes a new load balancing algorithm to solve the above problems. The scheme collects file access history information and stores it on each node, and uses it together with node heterogeneity to determine load distribution and redistribution. The identifier space owned by each node is dynamic and can be changed during the system operation cycle.