PDA

Archiv verlassen und diese Seite im Standarddesign anzeigen : Proxy tunneling failed: Method Not Allowed



pibi
08.08.18, 21:46
Hoi zaeme

Wie einige sicher wissen, wohne ich in der schoenen Schweiz. Sehr gerne schaue ich auch deutsches Fernsehen und nutze auch den genialen MediathekViewer. Ausgewaehlte Filme lade ich auch herunter, um sie spaeter wieder einmal anzusehen, wenn sie in der Mediathek nicht mehr verfuegbar sind. Leider sind einige Filme mit Laendercodes versehen, so dass sie nicht von ueberall abrufbar sind. Und hier beginnt mein Problem.

Konkret geht es um einen Film, der nur aus (D) angeschaut werden darf. Bis anhin konnte ich mir aus einer der vielen Listen der offenen deutschen Proxies einen aussuchen und nach einigen Versuchen hat sogar einer funktioniert. Neuerdings werden aber https-Verbindungen aufgebaut und da funktioniert es bei mir nicht mehr.

Konkretes Beispiel:

pit:/tmp # export https_proxy=93.190.253.50:80 ; cd /tmp; wget --no-check-certificate --show-progress https://pdvideosdaserste-a.akamaihd.net/de/2018/07/28/0b6dde76-7375-4429-98ff-c21089b816f1/1280-1.mp4
--2018-08-08 21:25:11-- https://pdvideosdaserste-a.akamaihd.net/de/2018/07/28/0b6dde76-7375-4429-98ff-c21089b816f1/1280-1.mp4
Connecting to 93.190.253.50:80... connected.
Proxy tunneling failed: Method Not AllowedUnable to establish SSL connection.
pit:/tmp #

Mit normalem http: hat es bisher immer bestens funktioniert. Wo liegt hier das Problem? Den Versuch mit dem Parameter "--no-check-certificate" habe ich im Internet gefunden. Leider keine Loesung:-(

Installiert ist bei mir "squid" als Proxy (Squid Cache: Version 3.4.4). Fehlen bestimmte Parameter? Muss ich meinen "squid" anders konfigurieren oder bestimmte Optionen erlauben? Oder gibt es womoeglich eine ganz andere Loesung?

Danke im Voraus und Gruss
Pit.

PS: Alternativ waere ich froh, wenn mir jemand den oben genannten Film herunterladen und mir zukommen lassen koennte. Normalerweise verschwinden einige wieder schnell aus der Mediathek....

nopes
08.08.18, 22:03
Ohne das jetzt probiert zu haben, grundsätzlich ist verschlüsseln und Proxy nicht so richtig sinnvoll kombinierbar, daher werden da wohl viele Proxies von vornherein nein sagen. Aber https://www.sslproxies.org/ klingt nach dem was du suchst.

pibi
09.08.18, 21:35
Danke Nopes, ich probiere das gerne am Wochenende mal aus.

Gruss Pit.

fork
10.08.18, 00:12
Die Fehlermeldung hört sich laut Google erst mal so an, also ob der Proxy das nicht erlaubt.

Ansonsten würde ich sagen, dass Du die Variable falsch setzt.

So verwendest Du Sie:


https_proxy=1.2.3.4:8080

So ist es meiner Meinung nach richtig:


https_proxy=https://1.2.3.4:8080

Das ist meine Liste mit deutschen Proxies, die ich gerade gefunden & und mit wget --spider auf Deiner URL durchprobiert habe:

https://www.proxynova.com/proxy-server-list/country-de/

Bei Einigen davon startet der Download.

pibi
11.08.18, 17:25
So ist es meiner Meinung nach richtig:

https_proxy=https://1.2.3.4:8080
Hmmmm....

pit:/tmp # export https_proxy=//93.190.253.50:80 ; cd /tmp; wget --show-progress https://pdvideosdaserste-a.akamaihd.net/de/2018/07/28/0b6dde76-7375-4429-98ff-c21089b816f1/1280-1.mp4
Error parsing proxy URL //93.190.253.50:80: Scheme missing.
pit:/tmp #


Ausserdem hat es ja bei http-Verbindungen mit der von mir geposteten Syntax so geklappt. Ich kann mir nicht vorstellen, dass http und https bei wget unterschiedliche Parameter verwenden.

Gruss Pit.

pibi
11.08.18, 19:20
Aber https://www.sslproxies.org/ klingt nach dem was du suchst.
Ich sehe da die Hilfe nicht wirklich. Auch bei den dort gelisteten Proxies gibt es nur Fehler beim Download-Versuch.

Muss ich jetzt einen "export https_proxy" Befehl angeben oder nicht? Wie gesagt: Mit http hat alles bestens funktioniert. Was habe ich uebersehen?

Gruss Pit.

pibi
11.08.18, 19:28
Die Fehlermeldung hört sich laut Google erst mal so an, also ob der Proxy das nicht erlaubt.
Also ob mein Proxy das nicht erlaubt (squid)?

Das ist meine Liste mit deutschen Proxies, die ich gerade gefunden & und mit wget --spider auf Deiner URL durchprobiert habe:

https://www.proxynova.com/proxy-server-list/country-de/

Bei Einigen davon startet der Download.Bei mir kommen mit
wget --spider https://<gesuchte url>nur TimeOuts:-(

Gruss Pit.

fork
12.08.18, 14:55
Hmmmm....

pit:/tmp # export https_proxy=//93.190.253.50:80 ; cd /tmp; wget --show-progress https://pdvideosdaserste-a.akamaihd.net/de/2018/07/28/0b6dde76-7375-4429-98ff-c21089b816f1/1280-1.mp4
Error parsing proxy URL //93.190.253.50:80: Scheme missing.
pit:/tmp #


Ausserdem hat es ja bei http-Verbindungen mit der von mir geposteten Syntax so geklappt. Ich kann mir nicht vorstellen, dass http und https bei wget unterschiedliche Parameter verwenden.

Du hast falsch von mir abgeschrieben. nicht https_proxy=//93.190.253.50:3128 sondern https_proxy=https://93.190.253.50:3128


Also ob mein Proxy das nicht erlaubt (squid)?

Nein. Der Proxy, den Du verwendest. Laß doch mal deinen Proxy vorerst raus. Wenn es ohne Deinen Proxy, nur mit dem offenen Proxy geht, dann wäre das ja schon mal der erste Erfolg.

pibi
12.08.18, 20:39
Du hast falsch von mir abgeschrieben. nicht https_proxy=//93.190.253.50:3128 sondern https_proxy=https://93.190.253.50:3128
Nein. Der Proxy, den Du verwendest. Laß doch mal deinen Proxy vorerst raus. Wenn es ohne Deinen Proxy, nur mit dem offenen Proxy geht, dann wäre das ja schon mal der erste Erfolg.
Sorry, mein Fehler! Aber auch so funktioniert es nicht wirklich:-(


pit@server:~> export https_proxy=https://159.69.91.65:3128; wget --show-progress https://pdvideosdaserste-a.akamaihd.net/de/2018/07/28/0b6dde76-7375-4429-98ff-c21089b816f1/1280-1.mp4
--2018-08-12 20:18:21-- https://pdvideosdaserste-a.akamaihd.net/de/2018/07/28/0b6dde76-7375-4429-98ff-c21089b816f1/1280-1.mp4
Resolving pdvideosdaserste-a.akamaihd.net (pdvideosdaserste-a.akamaihd.net)... 173.222.108.203, 173.222.108.153
Connecting to pdvideosdaserste-a.akamaihd.net (pdvideosdaserste-a.akamaihd.net)|173.222.108.203|:443... connected.
HTTP request sent, awaiting response... 403 Forbidden
2018-08-12 20:18:21 ERROR 403: Forbidden.

Connected, aber forbidden?

Gruss Pit.

PS: Hier in der (CH) haben wir vor Kurzem ueber das Verbot aus auslaendischen Online-Casinos abgestimmt. Die Abstimmung wurde recht hoch (70% oder so JA) angenommen. Die Verbote sollen mit Netzsperren durchgesetzt werden. In meinen Augen ein erster Schritt zur einer Zensur des Internets. Bis anhin dachte ich mir, dass das diese Sperren von jedermann leicht umgangen werden koennen (so wie ich das bisher mit der Mediathek und http gemacht habe). Aber da in Zukunft wahrscheinlich auch mehr Connects von Casinos ueber https laufen werden, wird das Aushebeln dieser Sperren schwieriger werden. Und NEIN, ich selber habe noch nie mein sauer erarbeitetes Geld in Casinos verzockt, weder live noch online.

fork
13.08.18, 09:50
Sorry, mein Fehler! Aber auch so funktioniert es nicht wirklich:-(
Connected, aber forbidden?

Ich gehe mal davon aus, dass von irgendwelchen öffentlichen Proxylisten im Internet 30%-100% nicht funktionieren und alles, was funktioniert auch nur für begrenzte Zeit. Deswegen habe ich auch nicht nur einen ausprobiert sondern per Script alle. Es gab unterschiedlichste Fehlermeldungen. Ein paar haben bei mir funktioniert. Ansonsten sind die Medien von der Mediathek nur 7 Tage verfügbar, wenn ich mich nicht irre? D. h. der Videolink von oben dürfte irgendwann mal weg sein.

pibi
14.08.18, 11:42
Hoi fork

Ich gehe mal davon aus, dass von irgendwelchen öffentlichen Proxylisten im Internet 30%-100% nicht funktionieren und alles, was funktioniert auch nur für begrenzte Zeit. Deswegen habe ich auch nicht nur einen ausprobiert sondern per Script alle. Es gab unterschiedlichste Fehlermeldungen. Ein paar haben bei mir funktioniert.
Mir ist schon klar, dass die oeffentlichen Proxy-Listen keine Garantie fuer korrekte Funktion bieten. Das mit dem Script klingt interessant;-) Koenntest Du mir das evtl. zukommen lassen (via persoenliche Mail)?

Ansonsten sind die Medien von der Mediathek nur 7 Tage verfügbar, wenn ich mich nicht irre? D. h. der Videolink von oben dürfte irgendwann mal weg sein.Ja klar. Deswegen schaue ich auch jedesmal in MediathekView, ob das gesuchte File noch gelistet ist.

Noch eine Frage: Was ist eigentlich der Unterschied, ob ich den Befehl aus #9 als root oder als normaler User eingebe? Als User "pit" kommt die Meldung "connected / forbidden" wie geschrieben- Als "root" (aus Versehen habe ich nicht den Benutzer gewechselt) passiert nach "Connecting to ....." nichts mehr und ich muss mit Ctrl-C abbrechen.

Danke einstweilen und Gruss
Pit.

fork
14.08.18, 12:13
Das waren die zwei schnell zusammengehackten Einzeiler, etwas aufgehübscht:



# 1. Erzeuge ein temp. Verzeichnis und wechsle darein
# 2. kopiere die Liste der Proxies aus meiner URL mit der Maus per Copy&Paste in eine Datei names proxylist.txt
# 3. Führe den folgenden Befehl aus um zu prüfen, bei welchen Proxys die Ports noch offen sind

cat proxylist.txt | \
grep -vE "^[0-9]+ ms" | awk '{print $1,$2}' | \
while read host port;do \
nmap -p $port $host >proxy_${host}_${port}.txt &
sleep 0.3
done
wait # wartet bis alle nmaps durchgelaufen sind

# 4. Führe einen Test-Download auf allen Proxys mit offenem Port aus und setze die https_proxy Variable

grep . proxy_*txt | \
grep "PORT.*STATE" -A1 | \
grep -v "PORT.*STATE" | \
grep open | \
while read str;do \
host=${str#proxy_}
host=${host%%_*}
port="${str##*_}"
port=${port%%.txt*}
echo $host $port
export https_proxy=https://$host:$port
wget --spider https://pdvideosdaserste-a.akamaihd.net/de/2018/07/28/0b6dde76-7375-4429-98ff-c21089b816f11280-1.mp4
done


Und an alle Korinthenkacker hier: Ja. Das ist schlechter Code. Das kann man viel besser machen.

pibi
03.11.18, 17:58
@fork:
Ich bekenne mich schuldig, denn aus diversen Gruenden hatte ich leider keine Zeit, Deinen Tip auszuprobieren. Mea culda, mea maxima culpa:-) Nun draengt leider die Zeit etwas, denn ich habe keine Ahnung, wie lange die einzelnen Folgen in der Mediathek verfuegbar sind.

Seit der ersten Folge von "Die Bruecke" bin ich als Skandinavien-Fan von Ort und Charakteren begeistert von dieser Staffel. Staffel1 war public, Staffel2 war Laender DE-AT-CH und Staffel3 ist DE only. Weiss der Geier warum?

Bevor ich die Tips von fork ausprobieren konnte, war ich leider recht intensiv mit anderem beruflichem Kram involviert. Aus zeitlichen Gruenden waere ich daher froh, wenn irgendein User hier alle von Folgen "Die Bruecke III" (ZDF) fuer mich aus der Mediathek in HD-Qualitaet runterladen und mir den Link von irgendeiner Cloud inkl. Passwort schicken koennte.

Vielen herzlichen Dank im Voraus und Gruss
Pit.

pibi
24.04.20, 11:31
Das waren die zwei schnell zusammengehackten Einzeiler, etwas aufgehübscht:


Hoi zaeme

Ich muss mich leider nochmals melden. Mittlerweile sind geschaetzte 20% der Filme der deutschen Sender geoblocked, so dass ich dieses Thema nochmals aufgreifen muss. Die letzten zwei Jahre hat mir ein Freund aus (D) die gewuenschten Downloads erledigt und zugeschickt resp. wenn zu gross auf einen ftp-Server gelegt. Dieser Freund wohnt nun auch nicht mehr in (D).......

Daher komme ich auf #15 von fork zurueck. Ich habe jetzt eine Stunde lang probiert, ob ich das Script zum Laufen bringe. Aber leider finde nicht heraus, welches Format das angesprochene File "proxylist.txt" haben muss. Kann mir jemand einen Tip geben, am Liebsten mit 1-2 Beispielzeilen? Oder fork, liest Du zufaellig selber mit?

Gruss aus dem Home-Office aus Winterthur
Pit.

PS: Eine andere Alternative waere eine Loesung mit VPN, wie es zB. hier (https://www.bitblokes.de/ard-mediathek-geoblocking-erfolgreich-mit-einem-vpn-umgehen) beschrieben wird. Da dazu aber Software-Installationen noetig sind, moechte ich dies nach Moeglichkeit vermeiden.