Как извлечь ссылки на любую веб-страницу с помощью PowerShell

Оглавление:

Как извлечь ссылки на любую веб-страницу с помощью PowerShell
Как извлечь ссылки на любую веб-страницу с помощью PowerShell

Видео: Как извлечь ссылки на любую веб-страницу с помощью PowerShell

Видео: Как извлечь ссылки на любую веб-страницу с помощью PowerShell
Видео: Не включается режим Aero Windows 7, ошибка 1058 / как убрать упрощенный стиль - YouTube 2024, Апрель
Anonim
В PowerShell 3 есть много новых функций, включая некоторые новые функции, связанные с веб-интерфейсом. Они значительно упрощают автоматизацию Интернета, и сегодня мы покажем вам, как вы можете извлечь каждую отдельную ссылку с веб-страницы и, при желании, загрузить ресурс, если хотите.
В PowerShell 3 есть много новых функций, включая некоторые новые функции, связанные с веб-интерфейсом. Они значительно упрощают автоматизацию Интернета, и сегодня мы покажем вам, как вы можете извлечь каждую отдельную ссылку с веб-страницы и, при желании, загрузить ресурс, если хотите.

Скремблирование сети с помощью PowerShell

Есть два новых командлета, упрощающих автоматизацию Интернета, Invoke-WebRequest, облегчающий анализ понятий для чтения человеком, и Invoke-RestMethod, которые упрощают чтение машиносчитываемого контента. Поскольку ссылки являются частью HTML страницы, они являются частью читаемого человеком материала. Все, что вам нужно сделать, чтобы получить веб-страницу, это использование Invoke-WebRequest и присвоение ему URL-адреса.

Invoke-WebRequest –Uri ‘https://howtogeek.com’

Если вы прокрутите вниз, вы увидите, что ответ имеет свойство ссылок, мы можем использовать функцию перечисления новых членов PowerShell 3, чтобы отфильтровать их.
Если вы прокрутите вниз, вы увидите, что ответ имеет свойство ссылок, мы можем использовать функцию перечисления новых членов PowerShell 3, чтобы отфильтровать их.

(Invoke-WebRequest –Uri ‘https://howtogeek.com’).Links

Как вы можете видеть, вы получаете много ссылок назад, вот где вам нужно использовать свое воображение, чтобы найти что-то уникальное, чтобы отфильтровать ссылки, которые вы ищете. Предположим, нам нужен список всех статей на первой странице.
Как вы можете видеть, вы получаете много ссылок назад, вот где вам нужно использовать свое воображение, чтобы найти что-то уникальное, чтобы отфильтровать ссылки, которые вы ищете. Предположим, нам нужен список всех статей на первой странице.

((Invoke-WebRequest –Uri ‘https://howtogeek.com’).Links | Where-Object {$_.href -like “http*”} | Where class -eq “title”).Title

Еще одна замечательная вещь, которую вы можете сделать с новыми командлетами, - автоматизировать ежедневные загрузки. Давайте посмотрим на автоматическое очищение изображения дня с сайта Nat Geo, для этого мы будем комбинировать новые веб-командлеты с Start-BitsTransfer.
Еще одна замечательная вещь, которую вы можете сделать с новыми командлетами, - автоматизировать ежедневные загрузки. Давайте посмотрим на автоматическое очищение изображения дня с сайта Nat Geo, для этого мы будем комбинировать новые веб-командлеты с Start-BitsTransfer.

$IOTD = ((Invoke-WebRequest -Uri ‘https://photography.nationalgeographic.com/photography/photo-of-the-day/’).Links | Where innerHTML -like “*Download Wallpaper*”).href Start-BitsTransfer -Source $IOTD -Destination C:IOTD

Вот и все. У вас есть какие-нибудь аккуратные трюки? Дайте нам знать об этом в комментариях.

Рекомендуемые: