PHP爬虫：百万级别知乎用户数据爬取与分析

发布时间：2016-09-06 18:54:41 所属栏目：PHP教程来源：站长网

导读：程序不能完全保证在fork进程之前，父进程不会创建redis连接实例。因此，要解决这个问题只能靠子进程本身了。试想一下，如果在子进程中获取的实例只与当前进程相关，那么这个问题就不存在了。于是解决方案就是稍微改造一下redis类实例化的静态方式，与当前进

在PHP中使用redis示例：

<php 
    $redis = new Redis(); 
    $redis->connect('127.0.0.1', '6379'); 
    $redis->set('tmp', 'value'); 
    if ($redis->exists('tmp')) 
    { 
        echo $redis->get('tmp') . "n"; 
    }

使用PHP的pcntl扩展实现多进程

改用了curl_multi函数实现多线程抓取用户信息之后，程序运行了一个晚上，最终得到的数据有10W。还不能达到自己的理想目标，于是便继续优化，后来发现php里面有一个pcntl扩展可以实现多进程编程。下面是多编程编程的示例：

//PHP多进程demo 
//fork10个进程 
for ($i = 0; $i < 10; $i++) { 
    $pid = pcntl_fork(); 
    if ($pid == -1) { 
        echo "Could not fork!n"; 
        exit(1); 
    } 
    if (!$pid) { 
        echo "child process $i runningn"; 
        //子进程执行完毕之后就退出，以免继续fork出新的子进程 
        exit($i); 
    } 
} 
 
//等待子进程执行完毕，避免出现僵尸进程 
while (pcntl_waitpid(0, $status) != -1) { 
    $status = pcntl_wexitstatus($status); 
    echo "Child $status completedn"; 
}

在Linux下查看系统的cpu信息

（编辑：常州站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!

7/10

首页

尾页