src/Service/Client/HeadlessUtils.php line 54

Open in your IDE?
  1. <?php
  3. namespace App\Service\Client;
  6. use App\Utils\StringUtils;
  7. use App\Utils\Utils;
  8. use Facebook\WebDriver\Chrome\ChromeOptions;
  9. use Facebook\WebDriver\Remote\DesiredCapabilities;
  10. use Symfony\Component\Panther\Client;
  12. /**
  13.  * See Experimental/src/Headless project
  14.  * https://github.com/sjitech/proxy-login-automator
  15.  */
  16. class HeadlessUtils
  17. {
  18.     const BROWSERLESS_IO = 'https://4fa7d10a-0a31-405e-87f5-44b58636c682@chrome.browserless.io/webdriver';
  20.     /**
  21.      * Docker installation info in client.md
  22.      */
  23.     const BROWSERLESS_VPS5_WEBDRIVER = 'http://madrid75008@51.38.44.123:3000/webdriver'; //using selenium
  24.     const BROWSERLESS_VPS5_FN = 'http://madrid75008@51.38.44.123:3000/function?ignoreHTTPSErrors'; //or ?token=aaaaaa
  26.     /**
  27.      * This is using chrome headless on browserless server using selenium/chromedriver protocol
  28.      * @param $waitFor css selector of the element we are waiting to be displayed to get the DOM. Timeout 30s
  29.      * TODO handle post params
  30.      */
  31.     public static function fetchUsingPanther(string $url, ?array $postParams = [], ?string $waitFor = null, bool $isRemote = true):string {
  32.         if(count($postParams)) throw new \Exception('POST not implemented');
  33.         if ($isRemote) {
  34.             $client = self::createRemoteClient();
  35.         } else {
  36.             // To display chrome, in test, add `PANTHER_NO_HEADLESS=1` in environement variables
  37.             $client = Client::createChromeClient();
  38.         }
  40.         $crawler = $client->request('GET', $url);
  42.         if ($waitFor)
  43.             $client->waitFor($waitFor); // Wait for an element to be rendered
  45.         $html = $crawler->html();
  46. //        $client->takeScreenshot(__DIR__ . '/tmp_panther.png');
  47.         $client->quit(); //before $client->close(); don't know what the difference maybe if remote quit, if local close
  48.         return $html;
  49.     }
  51.     public static function createRemoteClient(): Client {
  52.         return Client::createSeleniumClient(self::BROWSERLESS_VPS5_WEBDRIVER, DesiredCapabilities::chrome()
  53.             ->setCapability(ChromeOptions::CAPABILITY, (new ChromeOptions())
  54.                 ->addArguments(['headless', 'no-sandbox', 'ignore-certificate-errors'])
  55.             ));
  56.     }
  58.     /**
  59.      * This is using chrome headless on browserless server using directly js
  60.      */
  61.     public static function fetch(string $url, ?string $postQuerystring = null, ?string $waitFor = null, bool $isRemote = true, ?string $proxyUrl = null): string {
  62.         $html = self::fetchCustom(__DIR__ . '/headless_fetch.js', [
  63.             'purl' => $url,
  64.             'post' => $postQuerystring,
  65.             'waitFor' => $waitFor,
  66.         ], $isRemote, $proxyUrl);
  67.         if (StringUtils::startsWith($html, 'Navigation timeout of') || StringUtils::startsWith($html, 'waiting for selector'))
  68.             throw new \RuntimeException('Browserless says: ' . $html);
  69.         return $html;
  70.     }
  72.     // TODO handle when script when in different folder
  74.     /**
  75.      * @param string $pathScript "/foo/bar/fetch.js"
  76.      */
  77.     public static function fetchCustom(string $pathScript, array $params = [], bool $isRemote = true, ?string $proxyUrl = null) : string {
  78.         if(!file_exists($pathScript)) throw new \RuntimeException("File $pathScript not found");
  80.         if($isRemote) {
  81.             $proxyServer = null;
  82.             if ($proxyUrl) {
  83.                 $parse = parse_url($proxyUrl);
  84.                 if (isset($parse['user']) && isset($parse['pass'])) {
  85.                     $params['proxyAuth'] = [
  86.                         'username' => $parse['user'],
  87.                         'password' => $parse['pass'],
  88.                     ];
  89.                 }
  90.                 $proxyServer = $parse['host'].(isset($parse['port'])?':'.$parse['port']:'');
  91.             }
  93.             // proxy : https://www.browserless.io/docs/chrome-flags#launching-with-a-proxy
  94.             $content = ScraperUtil::curl([
  95.                 CURLOPT_URL => self::BROWSERLESS_VPS5_FN.($proxyServer ? '&--proxy-server='.$proxyServer : ''),
  96.                 CURLOPT_POSTFIELDS => json_encode([
  97.                     'code' => file_get_contents($pathScript),
  98.                     'context' => $params,
  99.                 ]),
  100.                 CURLOPT_HTTPHEADER => [
  101.                     'Content-Type: application/json'
  102.                 ],
  103.                 CURLOPT_TIMEOUT => ScraperUtil::TIMEOUT_S * 2,
  104.             ]);
  105.             return $content;
  106.         } else { //Proxy not handled when not remote
  107.             //--inspect to be able to inspect/debug with chrome tool or Phpstorm (Run/Debug config > Attach to Node.js/Chrome)
  108.             $str = 'node --inspect '. __DIR__."/headless_custom_runner.js \"$pathScript\" ";
  109.             foreach ($params as $k=>$v) {
  110.                 $str.="--$k=\"$v\" ";
  111.             }
  112.             return Utils::exec($str); //works when running local server with symfony server:run
  113.         }
  114.     }
  115. }