检索搜索结果selenium python bs4

作者: 青阳
发布时间: 2024-10-09 07:48:17 (3天前)
转自：

2 条回复

0#
回复此人
猫南北 | 2019-08-31 10-32

<div class =“post-text”itemprop =“text”> <P> 许多网站不会在页面加载时显示所有搜索结果，而只在需要时显示它们，例如访问者继续滚动表示他们想要查看更多内容。 </p> <P> 我们可以使用javascript滚动到页面底部 <code> window.scrollTo(0,document.body.scrollHeight) </code> ，（你可能希望循环这个，如果你期望数百个结果）强制页面上的所有结果，之后我们可以抓取HTML。 </p> <P> 下面应该做的伎俩。 </p> <pre> <code> browser = webdriver.Firefox(executable_path=r'D:\geckodriver\geckodriver.exe') url1 = "https://www.linkedin.com/sales/search/company?companySize=E&geoIncluded=emea%3A0%2Ceurope%3A0&industryIncluded=6&keywords=AI&page=1&searchSessionId=zreYu57eQo%2BSZiFskdWJqg%3D%3D" browser.get(url1) time.sleep(15) browser.execute_script('window.scrollTo(0,document.body.scrollHeight)') time.sleep(15) parsed = browser.find_element_by_tag_name('html').get_attribute('innerHTML') soup = BeautifulSoup(parsed, 'html.parser') search_results = soup.select('dt.result-lockup__name a') print(len(search_results)) </code> </pre> </DIV>

编辑

登录后才能参与评论