Skrypt analizujący strone.

pytanie zadane 3 czerwca 2015 w Inne języki przez PgK Obywatel (1,380 p.)

Witam,

Od pewnego czasu zastanawiam się nad próbą napisania programu który w jakiś sposób analizowałby dane zamieszczone na stronie internetowej. Mam trochę doświadczenia z C++, jakieś podstawy z HTML, CSS i umię tworzyć proste skrypty w bashu. Czy moglibyście mnie nakierować w jaki sposób mam się za coś takiego zabrać? W jaki sposób mam np. zaimportować kod źródłowy strony w celu poddania go analizie? Chciałbym napisać program który by np. analizował zmiany kursu walut, które są zamieszczone i aktualizowane na jakiejś stronie.

Program ten chciałbym napisać w perlu.

Pozdrawiam

1 odpowiedź

odpowiedź 3 czerwca 2015 przez Comandeer Guru (600,810 p.)

Czemu w Perlu akurat?

IMO szedłbym w JS i wykorzystał do tego phantom.js. Dlaczego? Bo to de facto pełnoprawna przeglądarka internetowa - z tym, że zamiast interfejsu graficznego dostajesz skryptowalne zachowanie ;)

Żeby poprawnie zinterpretować zawartość strony WWW należy wygenerować drzewko DOM. Problem pojawia się wówczas, gdy do wygenerowania tego drzewka potrzebna jest interpretacja JS (bo np. część danych dociągana jest Ajaksem). Wówczas Perl wymięknie, a phantom.js poradzi sobie wyśmienicie.

Jeśli natomiast chcesz traktować stronę po prostu jako kod i dane dociągane JS-em Cię nie interesują, to i tak lepiej zdać się na narzędzia generujące DOM, a nie babrać się z regexami: http://stackoverflow.com/a/1732454

komentarz 3 czerwca 2015 przez PgK Obywatel (1,380 p.)

Chciałem to napisać w perlu ponieważ mam zrobić jakiś prosty projekt w tym języku na zajęcia, a idea zawarta w moim poście może mi w tym pomóc. Dziękuję za Twoją odpowiedź, w wolnej chwili przeanalizuje dokładnie to co mi napisałeś.