在我开发的应用程序中,我需要执行大量的REST调用。我需要交互的RESTAPI资源的体系结构是分层的,看起来像:
/api/continents - return list of all Earth's continents
/api/continents/{continent_name}/countries - return list of all countries on mentioned continent
/api/continents/{continent_name}/countries/{country_name}/cities - return list of all cities in mentioned country
不幸的是,这个API没有提供任何方法来获取所有的城市,我需要首先获取所有大陆的列表,然后获取每个大陆的所有国家的列表,然后获取每个大陆每个国家的所有城市的列表。
首先,我尝试实现我的方法,从该API中获取所有城市,而不需要只使用连续调用进行并行化。就像这样:
private List<City> getCities() {
List<Continent> continents = getAllContinents(); //HTTP GET call
List<Country> countries = new ArrayList<>();
for (Continent continent: continents) {
countries.addAll(getAllCountriesOfContinent(continent));
}
List<City> cities = new ArrayList<>();
for (Country country : countries) {
cities.addAll(getAllCitiesOfCountry(country));
}
return cities;
}
但这种方法工作得太慢(具体数字是7小时左右)。我决定尝试使用Java并行流和完整的未来来改进它,并获得了这样的方法:
private List<City> getCities() {
return getAllContinents()
.parallelStream()
.map(continent -> getAllCountriesOfContinent(continent))
.flatMap(feature -> feature.join().parallelStream())
.map(country -> getAllCitiesOfCountry(country))
.flatMap(feature -> feature.join().parallelStream())
.collect(Collectors.toList());
}
其中,getAllCountriesOfContinentand getAllCitiesOfCountry方法返回了复杂未来的列表,如下所示:
private CompletableFuture<List<Country>> getAllCountriesOfContinent(Continent continent) {
return CompletableFuture.supplyAsync(() -> {
return restClient.getDataFromApi(continent);
});
}
private CompletableFuture<List<City>> getAllCitiesOfCountry(Country country) {
return CompletableFuture.supplyAsync(() -> {
return restClient.getDataFromApi(country);
});
}
通过这样的重构,我得到了很好的性能提升(它执行了大约25-30分钟)。但我认为我可以通过使用Java TycPoLeExcel和线程或FokCuin框架来改进它。这些方法是否会帮助我提高代码的性能,或者有其他一些特殊的技术/算法/框架?