Software che compara più files e crea una RegExp che fa match con tutti

[gik25]

I’d like to ask you a question: there are a lot of web sites made in static HTML. Sooner or later HTML sites are to be converted in PHP/MySQL, but the operation is very expensive since it is to be done manually or with the usage of ad hoc written software.

I’ve an idea to make an universal software to convert html pages into templates and database…

It’s really easy: it’s enough to compare two HTML files and make one regular expression that matches them. Then you refine that regular expression to match a group of files.

Example.

First file
<html>1</html>

Second file
<html>2</html>

Reg exp = <html>\d</html>

Third file
<html></html>

Reg exp = <html>\d?</html>

Fourth file
<html>11</html>

Reg exp = <html>\d(0,2)</html>

Fifth file
<html>error</html>

Reg exp = <html>.*</html>

[Mixmar]

Not sure I've actually understood your idea... could you please explain it once again (perhaps in italiano)?

[gik25]

Certo:

Ci sono un sacco di siti in HTML statico. Siti che prima o poi dovranno essere convertiti in tamplate (statici) e database contenenti i valori che cambiano da pagina a pagina.

Questa operazione è immensamente costosa perchè deve essere fatta manualmente per migliaia di pagine, o comunque attraverso l'uso di software scritti ad hoc.

Ho un idea per realizzare un convertitore universale, che potrebbe quindi essere commercializzato garantendo un discreto ritorno economico.

Si tratta di qualcosa di realmente molto semplice: è sufficiente confrontare due o più file HTML e creare la Regular Expression che fa match con entrambi.


Esempio
Primo file
<html>1</html>

Secondo file
<html>2</html>

Reg exp = <html>\d</html>

Terzo file
<html></html>

Reg exp = <html>\d?</html>

Quarto file
<html>11</html>

Reg exp = <html>\d(0,2)</html>

Quinto file
<html>error</html>

Reg exp = <html>.*</html>





In realtà non è necessario che il software arrivi a questi livelli di dettaglio, basterebbe che creasse la seguente Reg Exp: <html>.*?</html>

Un simile software può automatizzare la conversione di un set di pagine in html statico in template più database ed avrebbe quindi un utilità immensa.


PS: com'è il mio italiano?

[Mixmar]

Originariamente inviato da gik25

PS: com'è il mio italiano?

Sicuramente migliore del mio inglese...

[gik25]

Originariamente inviato da Mixmar

Sicuramente migliore del mio inglese...

E che mi dici del programma?

[Mixmar]

Originariamente inviato da gik25

E che mi dici del programma?

Scusami, ma non riesco proprio a capire.

Tu vuoi creare delle regular expression che valgano per un certo numero di file... ma come dovrebbe aiutarti questo a creare un convertitore?

Una regola come "<html>.*</html>" dovrebbe matchare tutti i file html ma... a cosa serve?

Non capisco!

[gik25]

File 1
<root>
<film>
<titolo>Pinco</titolo>
<genere>azione</genere>
</film>
</root>


File 2
<root>
<film>
<titolo>Pinco 2</titolo>
<genere>thriller</genere>
</film>
</root>


Questo esempio è con i file XML, ma per file html sarebbe uguale: il software deve creare la regular expression che fa match con un gruppo di file similissimi (cambia solo qualche parola o frase)

[/\/\@®¢Ø]

non e' cosi' banale raffinare una regex aggiungendo man mano esempi, visto che la regex risultante potrebbe variare in modo irregolare:

l'esempio che hai fatto tu ne e' la prova lampante... generalizzando e basta, ottieni alla fine una regex che accetta qualunque input, grazie tante :P.
Con

<html>1</html>
<html>2</html>
<html></html>
<html>11</html>
<html>error</html>

Qui ad esempio piu' che <html>.*</html> sarebbe desiderabile ottenere
<html>(\d*|error)</html>
Insomma devi decidere come generalizzare: esagerando in senso inverso otterresti invece una regex che accetta solo gli esempi che hai visto, come
<html>(1|2|11|error)?</html>

In ogni caso visto che stai cercando di capire la struttura delle pagine, potrebbe avere piu' senso cercare per prima cosa di ricostruire l'albero e poi da li partire a cercare le similitudini (approfittando del primo passo per "ripulire" l'html).

[gik25]

Originariamente inviato da /\/\@®¢Ø

non e' cosi' banale raffinare una regex aggiungendo man mano esempi, visto che la regex risultante potrebbe variare in modo irregolare:

l'esempio che hai fatto tu ne e' la prova lampante... generalizzando e basta, ottieni alla fine una regex che accetta qualunque input, grazie tante :P.
Con

<html>1</html>
<html>2</html>
<html></html>
<html>11</html>
<html>error</html>

Qui ad esempio piu' che <html>.*</html> sarebbe desiderabile ottenere
<html>(\d*|error)</html>
Insomma devi decidere come generalizzare: esagerando in senso inverso otterresti invece una regex che accetta solo gli esempi che hai visto, come
<html>(1|2|11|error)?</html>

In ogni caso visto che stai cercando di capire la struttura delle pagine, potrebbe avere piu' senso cercare per prima cosa di ricostruire l'albero e poi da li partire a cercare le similitudini (approfittando del primo passo per "ripulire" l'html).

Dunque, a dire la verità il programma potrebbe essere usato in due modi diversi:
1) creare RegExp partendo da una serie di esempi (più probabilmente stringhe più o meno brevi)
2) automatizzare il retrieval di informazioni dai file

Nel secondo caso, quello che di fatto interessa più a me, basterebbe una .*? ogni volta che si trova una differenza. Tuttavia se un film si dovesse chiamare alfa e l'altro beta la a finale sarebbe presa come parte del template. Peggio ancora per oggetti tipo <br> o p e altri tag html.

Quindi effettivamente la tua non sarebbe una cattiva idea. Ma dove lo trovo un affare che mi crea un albero html? Fai conto poi che devo salvare non solo i tag, ma anche i loro attributi e contenuto e fatto tutto questo confrontare due alberi con una certa flessibilità... in più il tutto deve funzionare anche con documenti non well formed... e sarebbe funzionante solo per file html o xml (anche se sono proprio i file che mi interessano).

Secondo te è fattibile?

[/\/\@®¢Ø]

Originariamente inviato da gik25

Quindi effettivamente la tua non sarebbe una cattiva idea. Ma dove lo trovo un affare che mi crea un albero html?

Ci sono diversi parser html in giro, che linguaggio volevi usare ?
In linea di massima ti basta usare un parser che ti faccia chiamare una funzione/metodo ogniqualvolta trovi un tag, Se e' di apertura cominci un sottoramo, se e' di chiusura ne esci. Se il linguaggio poi supporta le continuazioni o qualcosa di simile, diventa ancora piu' facile, perche' non si tratta di far altro saltare dentro e fuori da una funzione ricorsiva.

Fai conto poi che devo salvare non solo i tag, ma anche i loro attributi e contenuto e fatto tutto questo confrontare due alberi con una certa flessibilità... in più il tutto deve funzionare anche con documenti non well formed... e sarebbe funzionante solo per file html o xml (anche se sono proprio i file che mi interessano).

Non dovrebbero esserci problemi da questo lato, dipende pero' dalla specifica libreria.

[gik25]

Originariamente inviato da /\/\@®¢Ø

Ci sono diversi parser html in giro, che linguaggio volevi usare ?
In linea di massima ti basta usare un parser che ti faccia chiamare una funzione/metodo ogniqualvolta trovi un tag, Se e' di apertura cominci un sottoramo, se e' di chiusura ne esci. Se il linguaggio poi supporta le continuazioni o qualcosa di simile, diventa ancora piu' facile, perche' non si tratta di far altro saltare dentro e fuori da una funzione ricorsiva.




Non dovrebbero esserci problemi da questo lato, dipende pero' dalla specifica libreria.

Non lo so...
io vorrei usare C# o PHP, ma conosco anche Java, C, C++, ecc.

Umh... comunque mi sembra abbastana tostarello.