[Programmiererstammtisch] "Zum ächzenden Compiler"

[fuchs87]

Du studierst also immer noch

[Gigaz]

Parallelisieren an sich ist zum Kotzen

Mein schönes C-Programm ist embarassingly parallel. Eine Zeile mit fopenmp. Aber wehe ich versuche es in ein Cython-Modul zu verwandeln und es auf Python-Ebene zu threaden. Wahnsinn, Blasphemie, Sparta.

[alpha civ]

Wenn es reiner C Code ist, warum verwendest du nicht einfach ctypes, um den Code innerhalb von Python aufzurufen?

[Gigaz]

Wenn es reiner C Code ist, warum verwendest du nicht einfach ctypes, um den Code innerhalb von Python aufzurufen?

Naja, der C-Code funktioniert inzwischen so dass der Input zu großen Teilen aus Python-Objekten besteht. Darum habe ich jetzt gut durchmischten Cython-Code. Auf der C-Ebene zu parallelisieren wäre wahrscheinlich leicht, aber das ist für das Problem nicht die angemessene Vorgehensweise. Also muss ich wohl eine Möglichkeit finden dem GIL gut zuzureden.

[alpha civ]

Gibt ja Möglichkeiten, den GIL für einen Codeabschnitt außer Kraft zu setzen. Nur muss man da entsprechend mit Vorsicht agieren.

[Tiramisu]

Kann mir jemand erklären, wie man in einer UE4-Class einen dämlichen Constructor einfügen kann? Es steht nirgends im Internet ein ordentlicher Code, der wirklich funktioniert. Schon gar nicht in der Dokumentation von UE4.

Edit: Ich arbeite mit der besch** Version 4.10.4

Semikolon vergessen. Hurra! Hurra!

[Slaan]

[Zulan]

Ich dachte zu Cython und OpenMP vs. gil gibts genug Material?

[Gigaz]

Material gibts. Bloß funktioniert es nicht

Wen das konkrete Problem interessiert:
http://python-forum.org/viewtopic.php?f=6&t=19944

[alpha civ]

Also mit GIL hat das nichts zu tun. Dein Beispielcode verwendet intern das multiprocessing-Modul, wodurch Prozesse und keine Threads erstellt werden.

[alpha civ]

Ich habe das jetzt auch mal getestet, reines Python (ohne Cython). Bei n_jobs=2 kam in der IDLE-Gui keine Ausgabe, nur in der normalen Cmd-Shell.
Hat aber dann das richtige angezeigt.

[Gigaz]

Das mit der Ausgabe hatte ich auch. Obs ohne Cython läuft weiß ich nicht, wenn man es kompiliert sollte es natürlich danach viel schneller laufen.
Ich weiß auch dass das in diesem Fall mit GIL nichts zu tun hat, ich habe verschiedene Sachen ausprobiert. Mit nogil-Kommandos im Cython-Code wollte es nicht ohne weiteres kompilieren, darum habe ich das erstmal gelassen.

[alpha civ]

Du verwendest doch auch im richtigen Code joblib, oder? Auch mit ähnlichen Aufrufen bei Parallel?

[Gigaz]

Du verwendest doch auch im richtigen Code joblib, oder? Auch mit ähnlichen Aufrufen bei Parallel?

Da muss noch ein backend="threading" rein, hab ich recht? Macht aber für die Ausführung keinen Unterschied wimre.

[alpha civ]

Da muss noch ein backend="threading" rein, hab ich recht? Macht aber für die Ausführung keinen Unterschied wimre.

Standard ist "multiprocessing", da ist GIL kein Thema. Bei "threading" hingegen schon. Damit es hier wirklich parallel laufen kann, muss GIL deaktiviert sein.