[JAVA]Problemi con la classe StringTokenizer

[:.Blizzard.:]

Salve.

Non sò se ricordate il progetto a cui stò lavorando per la tesi, ma è venuto fuori un altro problema legato alla classe StringTokenizer che ho utilizzato per la realizzazione di un piccolo parser per funzioni matematiche.

All'interno del codice della mia classe Parser è presente questa riga per istanziare uno StringTokenizer:

str = new StringTokenizer(formula, "* - / + ( )", true);

In particolare, il costruttore della classe è il seguente:

public StringTokenizer(String str, String delim, boolean returnDelims)

Constructs a string tokenizer for the specified string. All characters in the delim argument are the delimiters for separating tokens.

If the returnDelims flag is true, then the delimiter characters are also returned as tokens. Each delimiter is returned as a string of length one. If the flag is false, the delimiter characters are skipped and only serve as separators between tokens.

Questo significa che se ho formula = "2*x/(1+x)", lo StringTokenizer mi parserizza la stringa in questo modo:

2
*
x
/
(
1
+
x
)

E fin qui niente di strano. E' proprio quello che voglio.

Il problema però nasce nel momento in cui voglio utilizzare un delimitatore non più di un solo carattere, ma di più caratteri (esempio: sin, cos, tan).

Ho provato a ridefinire la mia istanza str in questo modo:

str = new StringTokenizer(formula, "* - / + ( ) sin", true);

E il risultato è che mi considera come delimitatore non l'intera stringa sin, ma le singole lettere. Parserizzando quindi sin(x+2) ottengo infatti:

s
i
n
(
x
+
2
)


E non è quello che voglio, infatti avrei bisogno di un risultato del tipo:

sin
(
x
+
2
)


Esiste un modo per ovviare a questo problema? Oppure a questo punto devo scrivermi un Tokenizer da me?

[banryu79]

Beh, la soluzione per "tagliare la testa la toro" secondo me sarebbe quella di implementare a mano un analizzatore lessicale per espressioni matematiche, ad hoc.
E' più facile a farsi che a spiegarsi, qui c'è un esempio completo.

Ora per quanto riguarda StringTokenizer, è doveroso sottolineare (visto che stai facendo una tesi magari ti può interessare, e forse già lo sai) che questa è una classe che è stata mantenuta nelle API per ragioni di retrocompatibilità e il suo uso è scoraggiato: chi vuole ottenere la stessa funzionalità è invitato a usare il metodo split di String, oppure il package java.util.regex. In pratica invitano ad usare le API basate sulle espressioni regolari.

Poi solo una cosa, che temo di non aver afferrato.
Se hai una espressione così: "15+4*sin(1.57)..." e semplicemente "sin" non lo usi come delimiter, ti dovrebbe venire restituito come token, no?

public class Parser
{
    public static void main(String... args) {
        String delimiter = "+-*/()";
        String expression="15+4*sin(1.57)";
        StringTokenizer tokenizer = new StringTokenizer(expression, delimiter, true);
        while (tokenizer.hasMoreTokens()) {
            System.out.println(tokenizer.nextToken());
        }
    }
}

// OUTPUT:
15     // token
+      // delimiter
4      // token
*      // delimiter
sin    // token
(      // delimiter
1.57  // token
)      // delimiter
...

[:.Blizzard.:]

Originariamente inviato da banryu79

Poi solo una cosa, che temo di non aver afferrato.
Se hai una espressione così: "15+4*sin(1.57)..." e semplicemente "sin" non lo usi come delimiter, ti dovrebbe venire restituito come token, no?

public class Parser
{
    public static void main(String... args) {
        String delimiter = "+-*/()";
        String expression="15+4*sin(1.57)";
        StringTokenizer tokenizer = new StringTokenizer(expression, delimiter, true);
        while (tokenizer.hasMoreTokens()) {
            System.out.println(tokenizer.nextToken());
        }
    }
}

// OUTPUT:
15     // token
+      // delimiter
4      // token
*      // delimiter
sin    // token
(      // delimiter
1.57  // token
)      // delimiter
...

Beata stupidità . L'uovo di Colombo ... veramente.
Non sò come ho fatto a non pensarci.

Grazie mille

Ora per quanto riguarda StringTokenizer, è doveroso sottolineare (visto che stai facendo una tesi magari ti può interessare, e forse già lo sai) che questa è una classe che è stata mantenuta nelle API per ragioni di retrocompatibilità e il suo uso è scoraggiato: chi vuole ottenere la stessa funzionalità è invitato a usare il metodo split di String, oppure il package java.util.regex. In pratica invitano ad usare le API basate sulle espressioni regolari.

Queste sono preziose informazioni. Ci darò sicuramente un occhio.

Grazie ancora