从 Wiki 中挖掘国与国之间的联系

Wiki是一个众包性质的在线百科全书网站。志愿者们可以在上面编辑自己擅长领域的知识，它的宗旨是"中立的观点"。从某种程度上说，Wiki 和 OpenStreetMap 项目十分类似，只不过OpenStreetMap 项目只是专注于对空间数据的创建和编辑。

正是由于Wiki的众包特点，每个人都可以编辑页面，并且我们可以在页面之间创建链接。在Wiki里，可以通过一个特殊的URL区获得连接到某个页面的所有页面列表，比如，https://en.wikipedia.org/wiki/Special:WhatLinksHere/China 这个页面显示了所有可以链接到中国页面的链接列表。（由于中文维基已经被墙，这里访问的是英文维基）。

能否通过这个特殊的URL来挖掘国与国之间的联系呢？

通常，Wiki中一个国家的页面存在链接到另一国家的页面，说明这两个国家肯定有着一定的联系，比如可能是相邻关系、历史上有渊源、政治、经济或者是军事方面有联系等等。我们可以假设，如果某个国家被链接的次数越多，那么就有越多的国家和它有关系，也说明这个国家也就越重要。当然，这只是笼统地这么一说，国家的重要性是个很宽泛的话题，但是我们不妨先把国与国之间在Wiki上的链接关系找出来并可视化再说。

首先，我们要找到一个全世界所有国家在的列表，然后在Wiki里通过上述的URL去挖掘它们各自的联系。在Wiki里有一个国家ISO代码的页面，我们就从爬取这个页面的所有国家开始。下面的c++代码显示了如何用正则匹配去获得所有国家和地区的ISO代码和名称以及它们在Wiki中的链接地址(完整代码托管在oschina上）：

std::string content;
if (!curl_get("https://en.wikipedia.org/wiki/ISO_3166-1_alpha-2#IN", content)) {
    return false;
}
// regex search
std::regex expression("<td id=\"[A-Z]{2}\"><span style=\"[^\"]*\">[A-Z]{2}</span></td>\n<td><a href=\"[^\"]*\" title=\"[^\"]*\">.*</a></td>");

std::sregex_iterator iter(content.cbegin(), content.cend(), expression);
std::sregex_iterator iter_end;
int count = 0;
for (; iter != iter_end; ++iter) {
    std::string searched_string = (*iter)[0].str();
    std::string code, url, name;
    // country code
    code = searched_string.substr(8, 2);
    if (!std::isupper(code[0]) || !std::isupper(code[1])) {
        std::cout << "code: " << code << " is invalid!\n";
    }
    // country url
    std::regex url_expresion("href=\"[^\"]*\" ");
    std::smatch match;
    if (std::regex_search (searched_string, match, url_expresion)) {
        std::string s = match[0].str();
        url = s.substr(6, s.length() - 8);
    }
    // country name
    std::regex name_expresion("title=\"[^\"]*\"");
    if (std::regex_search (searched_string, match, name_expresion)) {
        std::string s = match[0].str();
        name = s.substr(7, s.length() - 8);
    }
    // construct country
    Country country(code, name, url);
    this->countries_.push_back(country);
    this->url_countries_.emplace(std::make_pair(url, count++));
}

获得国家的列表后，便可以依次寻找每个国家被链接的页面列表：

for (size_t i = 0; i < countries_.size(); ++i) {
    Country& country = countries_[i];

    // get page with maximal links list
    std::string links_url = "https://en.wikipedia.org/wiki/Special:WhatLinksHere/" + country.get_url().substr(5)；
    std::string links_page;
    if (!curl_get(links_url, links_page)) {
        continue;
    }
        
    // regex search country page
    std::regex expression("<li><a href=\"[^\"]*\" title=\"[^\"]*\">.*</a>  ‎ <span class=");
    std::sregex_iterator iter(links_page.cbegin(), links_page.cend(), expression);
    std::sregex_iterator iter_end;
    for (; iter != iter_end; ++iter) {
        std::string searched_string = (*iter)[0].str();
        std::regex url_expresion("href=\"[^\"]*\" ");
        std::smatch match;
        if (std::regex_search(searched_string, match, url_expresion)) {
            std::string s = match[0].str();
            std::string href = s.substr(6, s.length() - 8);
            int index = this->Search(href, URL);
            if (index != -1) {
                count++;
                country.AddLink(index);
            }
        }
    }
}

如果您对程序感兴趣，下载oschina上的代码编译运行，可以得到包含国与国之间联系的shapefile格式的文件，如果您不想运行程序，可以从百度云盘直接下载程序的输出文件。最后，借助 GeoHey 的数据上图，我们可以做出下面的地图出来：

单独看看在Wiki上可以链接到中国的国家：

从上图可以看出，除了周边的国家外，能够链接到中国的其他国家的地理分布还是比较均匀的，从这里可以体现出我国外交所作出的努力。另外，从太平洋的一系列能链接到中国的岛国的位置，依稀可见中国走出太平洋的地理路线。

为了更直观地看每个国家的链接数，采用气泡图的可视化方式：

从图中不难发觉，北美洲、西欧以及一些地理位置优越的岛国被链接次数较多。虽然可以链接到中国的国家不少（123个），但是这个数字基本属于中等偏上一点点。连接数前四甲分别是法国(197)，加拿大（193），美国（189）以及英国（183）。

分析到这里，大家可能会怀疑中国的被链接次数为何会如此低。这里面有一个原因是我们访问的是英文的wiki，这些页面基本上都是英语国家创建和编辑的，如果是中文的wiki的话可能会有更多的链接指向中国。但是从另一方面来说，这能使我们摒除自己的偏见，更客观地认识中国与世界的其它国家的联系。

欢迎从GeoHey获取地理和位置相关的数据、知识、服务

访问网站 http://geohey.com

联系我们 contact@geohey.com

长按关注公众号