HOWTO: Scaricare da Rapidshare e Megaupload da QNAP

[virtualdj]

Ho aggiornato i post mantenendo tutti i metodi finora testati per i nostri NAS QNAP:

• Plowshare (il primo in ordine cronologico, quando JD non era ancora disponibile, al post 1)
• JDownloader 2 con QPKG (al post 1)
• Debian + JDownloader su NAS x86/Intel (al post 2)
• Debian + JDownloader su NAS ARM/Marvell (al post 3)

Seguite le istruzioni a seconda della procedura preferita, in quanto ognuno ha vantaggi e svantaggi e le esigenze potrebbero essere diverse.


Plowshare

Ciao a tutti, mi sono da poco regalato un NAS Qnap TS-239 Pro II e ho iniziato a smanettarci. Volevo scaricare dai famosi 1-Click Web Hoster (in special modo Rapidshare e Megaupload) direttamente dal QNap, cosa che dall'interfaccia non è possibile fare (almeno fino al prossimo firmware v3.3 con Download Station v2, dicono).
Non è che scarichi poi molto, ma la curiosità era troppa per non farlo!

Cercando in giro sono finalmente riuscito a far funzionare il tutto e, visto che mi ricordo che su questo forum alcuni chiedevano come fare, ho pensato di buttare giù questo tutorial.


Alcune premesse


1) Non sono un esperto di Linux, anzi, direi che l'ho usato per la prima volta la settimana scorsa quando mi è arrivato il Qnap.
2) Essendo il mio un NAS x86, non sono certo che questa procedura funzioni anche sui NAS ARM (tipo 219P o 210) anche se credo di sì: provate a vostro rischio!
3) Non è farina del mio sacco: ho solo messo insieme i pezzi, documentandomi con Google e soprattutto su questo thread, grazie in particolar modo agli utenti lombardf e kirkoff che hanno preparato i file già pronti. In pratica loro hanno modificato gli script di Plowshare per adattarli al Qnap (che a quanto ho capito non recepiva tutti i comandi); io invece ho modificato anche lo script MegaUpload che non mi riconosceva i codici (andando a tentativi, non conoscendo Bash... ).
4) Ora che ho installato tutto e ho provato, cercherò di ricordarmi i passi compiuti a memoria, quindi perdonatemi se non sono preciso al 100%. Anzi se c'è qualcosa da modificare fatemelo sapere che edito il thread.


Come installare Plowshare sul NAS


1) Installazione IPKG

IPKG è necessario per poter installare Plowshare, ovvero il "programma" (in verità è un insieme di script) che si occupa di scaricare da Rapidshare, Megaupload, ecc..
Se ce l'avete già installato, passate avanti al punto 2.

1.1) Accedere all'interfaccia web, cliccando su Amministrazione e digitando il proprio login.
1.2) Nei menu a sinistra, selezionare Applicazioni > Plugin QPKG e premere sul pulsante Ottieni QPKG.
1.3) Cliccare su Optware IPKG e scaricare sul proprio desktop il pacchetto relativo al proprio NAS (x86 o ARM).
1.4) Passare alla scheda Installazione e fornire il pacchetto appena scaricato, cliccando su Installa e attendendo la fine della procedura.

NOTA 07/10/2015: Optware IPKG è definitivamente sparito dal sito QNAP perché in effetti il pacchetto è ormai obsoleto.
Tuttavia è ancora possibile scaricarlo tramite questo LINK; l'alternativa più recente è il pacchetto Qnapware reperibile sul thread ufficiale del forum QNAP.

2) Installazione di Plowshare

2.1) Chiudete l'interfaccia web, procuratevi Putty e lanciatelo connettendovi al vostro NAS alla porta 22 (SSH).
2.2) Digitate prima admin quando al prompt vi chiede login as: e poi la vostra password.
2.3) Poi digitate quanto segue, nell'ordine specificato. Ci metterà un po' a scaricare e installare i pacchetti.

ipkg update
ipkg install plowshare
ipkg install imagemagick
ipkg install py25-pil
ipkg install ossp-js
ipkg install tesseract-ocr
ipkg install tesseract-ocr-lang-eng

2.4) Ora tutti i pacchetti sono installati, tuttavia bisogna modificare Plowshare, altrimenti esso non funzionerà a dovere sul NAS. Scaricate il file script_plowshare.zip e scompattatelo sul desktop. Creerà due cartelle, una denominata main e una modules.
2.5) Procuratevi WinSCP e installatelo. Lanciatelo in esecuzione (io ho optato per la versione portable, ma fa lo stesso), sotto Host name digitate l'IP del NAS, controllate che la porta sia 22 e il protocollo SFTP e date OK. Nella finestra che appare vi chiederà l'username e poi la password, digitateli.
2.6) Ora in WinSCP nella parte destra della finestra si vedranno le cartelle del NAS.

Attenzione a quello che si fa perché si potrebbero perdere dati, impostazioni o anche impallare il tutto... Io per fortuna non ho causato danni ma come si dice... uomo avvisato mezzo salvato!

Bene, sulla destra cliccare sulla combobox con le cartelle e selezionare il percorso "/ <root>" ovvero la radice del NAS. Dovrebbe comparire una cartella opt, fare doppio clic per aprirla. Poi fare doppio clic sulla cartella share e quindi plowshare.

2.7) Prendere i file scompattati dallo zip all'interno della cartella main e trascinarli nella finestra dei file di destra di WinSCP (solo i file, non la cartella!): dando Copy dovrebbe iniziare il trasferimento. Se i passi sono corretti, WinSCP dovrebbe chiedere di sovrascrivere i file esistenti. Fare clic su Yes to all.
2.8) Fare doppio clic sulla cartella modules in WinSCP.
2.9) Prendere i file scompattati dallo zip all'interno della cartella modules e trascinarli nella finestra dei file di destra di WinSCP (solo i file, non la cartella!), anche stavolta sovrascrivendo tutti i file esistenti.
2.10) Chiudere WinSCP e tornare a Putty. Ora l'installazione dovrebbe essere completa.

3) Test e uso di Plowshare

Una volta sovrascritti i file con le versioni modificate, tutto dovrebbe funzionare; o perlomeno per me è stato così. Ho testato Rapidshare e Megaupload senza account premium e tutto è filato liscio. Plowshare dovrebbe comunque supportare anche gli account premium.
Vediamo come scaricare un file.

3.1) Da Putty, digitando il comando plowdown il sistema dovrebbe mostrare tutte le opzioni del programma se l'installazione ha funzionato. Se così non è risponderà con un "command not found" e quindi qualcosa non è andato per il verso giusto.
3.2) Il comando da dare per iniziare lo scaricamento è questo:

plowdown -o <OutDir> <Link>

Supponiamo di voler scaricare un file da MU nella cartella condivisa Download del NAS. Digiteremo quindi:

plowdown -o /share/Download http://www.megaupload.com/?d=********

Il sistema partirà e tenterà di riconoscere il codice (cosa che non avviene ad esempio per Rapidshare), poi ci sarà un'attesa e quindi si vedrà l'inizio dello scaricamento.

ATTENZIONE: Non chiudere Putty finché il download non è terminato, altrimenti il download viene interrotto. Questo perché il download non continua in background automaticamente, bisognerà usare un altro programma per fare questo (screen)... ma lo vedremo un'altra volta (per oggi ho già digitato abbastanza ).

Spero di non aver tralasciato nulla... fatemi sapere!



JDownloader 2 con QPKG

Grazie all'idea e alla collaborazione di Chryses, abbiamo ora (agosto 2014, n.d.r.) anche una versione QPKG installabile che permette di far girare JDownloader v2 sul NAS direttamente, senza Debian. In pratica il sistema sfrutta una libreria che simula la presenza delle API AWT, facendo credere a JDownloader (anzi, a Java) di aver uno schermo collegato anche se in realtà non esiste.

Per controllare poi il programma si usa l'interfaccia Web (accessibile dal sito my.jdownloader.org) oppure i programmi per Android/iPhone che si basano su quelle API.

Per maggiori informazioni, istruzioni e link vedere questo post

[virtualdj]

Debian + JDownloader su NAS x86/Intel

Per chi non si accontenta di Plowshare, volendo è possibile eseguire JDownloader sul NAS con ottimi risultati.

Di seguito indico alcuni passaggi necessari per l'installazione di una versione di Debian (Linux) all'interno del NAS QNAP con processore x86 (Atom). Questa permetterà di eseguire JDownloader e poi accedervi mediante un qualsiasi client Vnc.

La guida è stata creata grazie ad un post dell'utente silas nel forum QNAP e un buon lavoro di ricerca su Google .
Ecco i passaggi da eseguire in sequenza:

1. Installazione di Debian
2. Configurazione iniziale di Debian
3. Installazione di VNC server
4. Installazione di Java
   
   Questa parte non era inclusa in post precedenti, perciò la scrivo qui.
   Spostarsi nel sistema chroot e digitare:
   

   [root@NAS-NAME:/] # mkdir /usr/java
   [root@NAS-NAME:/] # cd /usr/java

   Scaricare quindi il file binario autoestraente per Linux dal sito di Java, in questo modo:
   

   [root@NAS-NAME:/usr/java] # wget -O javasetup.bin http://javadl.sun.com/webapps/download/AutoDL?BundleId=40907

   Verrà creato un file denominato javasetup.bin che deve essere reso eseguibile e poi lanciato:
   

   [root@NAS-NAME:/usr/java] # chmod a+x javasetup.bin
   [root@NAS-NAME:/usr/java] # ./javasetup.bin

   Attendere il termine dell’installazione, quindi eliminare i file temporanei:
   

   [root@NAS-NAME:/usr/java] # rm javasetup.bin

   Affinché sia possibile lanciare java da qualsiasi percorso, è necessario creare un collegamento nella cartella /usr/bin così (adeguare il percorso con la versione di Java o usando il tasto TAB per l’autocompletamento):
   

   [root@NAS-NAME:/usr/java] # cd /usr/bin
   [root@NAS-NAME:/usr/bin] # ln -s /usr/java/jre1.6.0_21/bin/java java

5. Installazione di JDownloader

Considerazioni finali

Per eseguire più rapidamente l'ambiente Debian/VncServer/JDownloader, conviene crearsi fuori dal chroot uno script denominato (per esempio) vnc.sh da salvare nella cartella /opt/bin con questo contenuto:

#!/opt/bin/bash
# Impostazioni script vnc.sh

VNC_USER=web
VNC_DISPLAY=1
DEBIAN_PATH=/share/HDA_DATA/debian

# Parametri da linea di comando
case "$1" in
start)
  # Verifica se VNC e' in esecuzione
  if [[ `ls -l $DEBIAN_PATH/home/$VNC_USER/.vnc/ | grep :$VNC_DISPLAY.pid` ]]
     then
     echo "VNCserver e' gia' in esecuzione."
  else
     # Prepara Debian per l'esecuzione
     $DEBIAN_PATH/debian.sh start > /dev/null 2>&1
     
     # Elimina eventuali residui
     rm -rf $DEBIAN_PATH/tmp/.X*

     # Esegue il chroot che avvia VNCserver
     chroot $DEBIAN_PATH /bin/su $VNC_USER -c "vncserver :$VNC_DISPLAY" > /dev/null 2>&1
     echo "VNCserver attivo su schermo $VNC_DISPLAY."
  fi
  ;;

stop)
  # Verifica se VNC e' in esecuzione
  if [[ `ls -l $DEBIAN_PATH/home/$VNC_USER/.vnc/ | grep :$VNC_DISPLAY.pid` ]]
     then
     # Esegue il chroot che termina VNCserver
     chroot $DEBIAN_PATH /bin/su $VNC_USER -c "vncserver -kill :$VNC_DISPLAY" > /dev/null 2>&1

     # Termina eventuali istanze bloccate
     killall Xvnc4 > /dev/null 2>&1

     # Chiude Debian
     $DEBIAN_PATH/debian.sh stop > /dev/null 2>&1
     echo "VNCserver terminato."
     
  else
     echo "VNCserver non e' in esecuzione."
  fi
  ;;

restart)
  # Ferma e riavvia il servizio
  $0 stop
  $0 start
  ;;

*)
  echo "Uso: $0 {start|stop|restart}"
  exit 1
  ;;
esac

exit 0

Così, dopo aver fatto tutto questo, i passi da fare per eseguire JDownloader sono:

1. Connettersi tramite SSH (putty)
2. Avviare Debian con lo script "vnc.sh start"
3. Lo script avvia VncServer che poi carica JDownloader
4. Ci si connette tramite Vnc client al server (specificare indirizzo IP del NAS seguito da ":" e il numero di display, ovvero 1 nell'esempio)

Procedura inversa invece per terminare:

1. Chiudere la connessione Vnc
2. Dare il comando "vnc.sh stop" che termina il server Vnc e tutti i sottoprocessi
3. Disconnettersi da SSH (putty)

In alternativa, è possibile creare un "finto" pacchetto QPKG che avvii l'ambiente all'accensione del NAS e lo termini prima dello spegnimento, come ha fatto l'utente stef8604: qui è descritta la procedura.

[virtualdj]

Debian + JDownloader su NAS ARM/Marvell

La guida descritta al post precedente è applicabile anche ai NAS QNAP con processore ARM (Marvell).

Anche questa procedura NON modifica il firmware originale QNAP; va comunque eseguita solo se ci si sente sufficientemente esperti e presenta alcune differenze rispetto al NAS con processore x86.

Ecco i passaggi da eseguire in sequenza:

1. Installazione di Debian
2. Configurazione iniziale di Debian
3. Installazione di VNC server
4. Installazione di Java
5. Installazione e avvio di JDownloader

Altre informazioni utili

E' consigliabile, una volta creato il proprio sistema Debian perfetto e che funziona bene, eseguirne un backup.
Digitare fuori dal chroot e dopo aver digitato vnc.sh stop:

[~] # cd /share/HDA_DATA
[/share/HDA_DATA] # tar zcvf debian-backup.tar.gz debian
[/share/HDA_DATA] # mv debian-backup.tar.gz /share/Public

Il backup si troverà nel file /share/Public/debian-backup.tar.gz.
NOTA: il backup non comprende il file vnc.sh (che è stato salvato in /opt/bin), pertanto conviene eseguire una copia anche di esso per utilizzi futuri.

Per ripristinarlo basterà prima rimuovere la cartella debian corrente e quindi recuperare i file dal backup, così:

[~] # cd /share/HDA_DATA
[/share/HDA_DATA] # rm -Rf debian
[/share/HDA_DATA] # tar zxvf /share/Public/debian-backup.tar.gz

Per disabilitare l'avviso della Java VM obsoleta:
LINK

[fasix]

complimenti per la guida, ma il file da scaricare, non funziona.
please, help me

[virtualdj]

@ fasix
Ho aggiornato il link. Probabilmente il file è stato rimosso perché sono passati 90 giorni senza accessi...
Ciao!

[fasix]

grazie
ora provo e poi ti faccio sapere
ciao

[MarvelDj]

ci sono degli aggiornamenti?

[fasix]

si si, funziona tutto

[MarvelDj]

ma funziona solo con account premium? o come jdownload e affini?

[fasix]

senza account premium

[MarvelDj]

azz che fulmine che sei nelle risposte

quindi inserisce lui le lettere in ocr, aspetta i sec ecc? buonissimo

[fasix]

nn lo uso da parecchio cmq mi sa che lui inserisce le lettere ...

Per la velocità: tutto grazie alle notifiche via email e gmail

[virtualdj]

Io comunque sono passato direttamente a Jdownloader.
Questo metodo l'avevo provato all'inizio (quando ancora non sapevo come fare!): non è male e funziona (spero ancora!) però Jdownloader rimane sempre un passo più avanti...

[fasix]

ma devi avere sempre un pc acceso

[MarvelDj]

io infatti non volevo usare jdownloader.... ho preso il nas anche per questo...
per quale motivo non è apprezzabile come jd?

[virtualdj]

Originariamente inviato da fasix

ma devi avere sempre un pc acceso

In realtà no... mi basta il QNAP e il mio palmare con client VNC (solo se bisogna inserire i codici)...

Originariamente inviato da MarvelDj

per quale motivo non è apprezzabile come jd?

Beh, perché essendo più semplice (alla fine è uno script) non supporta tutti gli hoster di JDownloader e nemmeno riesce a decodificare così tanti codici come lui.
Poi, gusti son gusti...

[fasix]

come fai ad usare jdownloader con un palmare e il qnap, senza un pc ?

[virtualdj]

Semplice. Ho seguito una guida sui forum QNAP per installare Debian sul NAS (senza rimuovere il firmware e l'interfaccia web originale); dentro ci ho messo il server VNC e installato Java con JDownloader.
Avevo iniziato a pubblicare un howto qui e qui, poi non ho avuto più tempo di finirlo e non mi pareva avesse avuto successo...

Tieni conto che io mi sono preso un NAS Atom per non avere problemi con i software x86; credo che nessuno di qui abbia ancora provato la procedura su un NAS con processore ARM, ma non dovrebbe essere così impossibile da realizzare.

[fasix]

grazie vado subito a dare un occhiata, io ho un nas con un arm

[virtualdj]

Tu prova ad installare Debian seguendo le istruzioni (mi auguro siano corrette, da me hanno funzionato!); in linea di massima dovresti sostituire:

[/share/HDA_DATA/debootstrap] # ./usr/sbin/debootstrap --arch i386 lenny /share/HDA_DATA/debian http://ftp.it.debian.org/debian

con:

[/share/HDA_DATA/debootstrap] # ./usr/sbin/debootstrap --arch arm lenny /share/HDA_DATA/debian http://ftp.it.debian.org/debian

Poi se funziona vedremo come andare avanti... in poche parole serve: fluxbox, vnc4server, java e per ultimo JDownloader. I primi 3 devono essere compilati per piattaforma ARM per funzionare ovviamente.