千家信息网

phpcms无法采集的解决方法

发表于:2024-09-26 作者:千家信息网编辑
千家信息网最后更新 2024年09月26日,phpcms无法采集的解决方法?这个问题可能是我们日常学习或工作经常见到的。希望通过这个问题能让你收获颇深。下面是小编给大家带来的参考内容,让我们一起来看看吧!phpcms无法采集怎么办?无法采集ht
千家信息网最后更新 2024年09月26日phpcms无法采集的解决方法

phpcms无法采集的解决方法?这个问题可能是我们日常学习或工作经常见到的。希望通过这个问题能让你收获颇深。下面是小编给大家带来的参考内容,让我们一起来看看吧!

phpcms无法采集怎么办?

无法采集https的网站内容主要是https不支持file_get_contents获取内容,所以可以考虑采用curl的方式获取。(需要开启curl,可以在pathinfo里边查看)

(1)打开phpcms\modules\collection\classes\collection.class.php

在类里边添加新函数:

protected static function curl_request($url){           if (!function_exists('curl_init')) {               throw new Exception('server not install curl');           }           $ch = curl_init();         curl_setopt($ch, CURLOPT_URL,$url);         curl_setopt($ch, CURLOPT_HEADER,0);         curl_setopt($ch, CURLOPT_RETURNTRANSFER,1);//禁止调用时就输出获取到的数据         curl_setopt($ch, CURLOPT_FOLLOWLOCATION,1);         curl_setopt($ch, CURLOPT_SSL_VERIFYPEER,false);         curl_setopt($ch, CURLOPT_SSL_VERIFYHOST,false);         $result = curl_exec($ch);         curl_close($ch);         return $result;     }

(2)找到函数function get_htm把该函数

protected static function get_html($url, &$config) {         if (!empty($url) && $html = @file_get_contents($url)) {             if ($syscharset != $config['sourcecharset'] && $config['sourcetype'] != 4) {                 $html = iconv($config['sourcecharset'], CHARSET.'//TRANSLIT//IGNORE', $html);             }             return $html;         } else {             return false;         }     }

改成

protected static function get_html($url, &$config) {         if(substr(trim($url),0, 5) == "https"){          $html = @self::curl_request($url);      }else{         $html = @file_get_contents($url);       }        if (!empty($url) && $html) {             if ($syscharset != $config['sourcecharset'] && $config['sourcetype'] != 4) {                 $html = iconv($config['sourcecharset'], CHARSET.'//TRANSLIT//IGNORE', $html);             }             return $html;         } else {             return false;         }     }

然后保存即可获取,测试结果

不知道是否还有其他bug,欢迎留言反馈!

感谢各位的阅读!看完上述内容,你们对phpcms无法采集的解决方法大概了解了吗?希望文章内容对大家有所帮助。如果想了解更多相关文章内容,欢迎关注行业资讯频道。

0