Nach etwas weiteren Googlesuchen stolperte ich über einen Artikel² von Henrik Skupin³ in dem er sich ebenfalls über die sinnbefreiten Defaults die es teilweise unter Linux gibt auslässt.

Anlass für seinen Artikel war genau mein Problem, trotzdem ausreichend Swap vorhanden ist, kommt der oom-killer und schießt Prozesse ab. Manchmal läuft der Server für Wochen ohne Probleme, dann stirbt er wieder mehrmals täglich.

Henrik wiederrum verweist auf ein Dokument “The Linux Kernel”⁴ von Andries Brouwer. Dort ist insbesondere das Kapitel 9.6 “Overcommit and OOM”⁵ interessant.

Kurz gesagt: Anders als andere Unixe, gibt Linux gerne jedem Programm soviel Speicher wie es verlangt, in der Hoffnung, dass es mehr verlangt als es braucht. Brauchen die Programme dann aber doch mehr als vorhanden ist, kommt unser Freund der oom-killer und versucht möglichst nicht vitale Prozesse abzuschießen. Die Betonung liegt auf versucht, irgendwann erwischts den falschen Prozess. Wiedermal ein toller default!

Mit Kernel 2.1.27 ist den Entwicklern dann auch aufgefallen, dass das Quark ist und sie haben eine Option geschaffen das verhalten des Kernels zu beeinflussen. Ab da gab es die Möglichkeit 0 oder 1 in die Datei /proc/sys/vm/overcommit_memory zu schreiben. Die Funktion der beiden Variablen ist aber auch wieder sehr sinnbefreit:

• 0 – default, “kein overcommit”, in Anführungszeichen weil es für den Kernel nur heist “denk ein bisschen nach bevor dus machst”
• 1 – immer overcommit, erklärt sich denke ich selbst

Erst mit Kernel 2.5.30 kam endlich eine dritte Variable hinzu:

• 2 – overcommit bis maximal Swap + /proc/sys/vm/overcommit_ratio % des RAM

Damit ist es Möglich, den Kernel zu einer sinnvollen Speicherverwaltung zu überreden. Mit den im Dokument vorgeschlagenen Werten bekommen Programme immenroch genug Speicher reserviert, der Swap wächst weiterhin bei bedarf und das wichtigste: Es werden keine zufälligen Prozesse mehr abgeschossen. Stattdessen stirbt der Prozess der zuviel Arbeitsspeicher reservieren will weil er den nicht bekommt (oder ist sauber programmiert und reagiert entsprechend).

Die Lösung ist also folgende:

In der Datei /etc/sysctl.conf werden folgende Werte eingetragen:

vm.overcommit_memory = 2
vm.overcommit_ratio = 80

Das wars auch schon. Seit ich diese Änderung eingetragen habe ist der oom-killer nicht wieder aufgetaucht.

Auch ein test mit den demoX.c Programmen aus dem Linux Kernel Dokument hat genau das dort beschriebene Bild gezeigt. Mit der Änderung führt das ausführen der Programme nie zum Systemcrash, lediglich die Programme bekomme nirgendwann keinen Speicher mehr und beenden sich selbst.

Zum Glück kann man das Problem recht einfach lösen: ffmpeg¹ und mencoder² sind wiedermal unsre Freunde.

Zunächst sollte man das Video aus dem 3gp Format in ein etwas bearbeitungsfreundlicheres Format umwandeln:

ffmpeg -y -i VIDEO_IN.3gp -sameq -f mp4 -s hd720 -r 25 -ar 32000 -ac 1 VIDEO_OUT.mpg

Danach kann man mit mencoder das Video drehen:

mencoder -vf rotate=1 VIDEO_IN.mpg -ovc x264 -oac pcm -o VIDEO_OUT.avi

Die Lösung habe ich bei Markus Schlichting³ gefunden. Ergänzend dazu noch ein paar Hinweise:

• -s hd720 legt bei ffmpeg die größe des Videos fest. Die verschiedenen Möglichkeiten findet man in der Manpage.
• -oac copy hat bei mir nie funktioniert, pcm funktionierte dagegen immer
• Die als “beste” angepriesene Variante mit -ovc lavc, durch die der libavcodec verwendet wird, liefert bei mir zwar kleine, aber grundsätzlich extrem pixelige Ergebnisse. Der x264 Codec liefert zwar große Dateien, dafür unverpixelt.

Die Lösung für das Problem nennt sich gphoto2¹, eine Bibliothek und Toolsammlung für den Zugriff auf Digitalkameras.

Mit dem Befehl

gphoto2 --get-all-raw-data

lassen sich alle Bilder und Filme direkt von der Kamera holen.

Wer lieber einzelne Bilder auswählen oder direkt auf der SD-Karte bearbeiten möchte, der hat die Möglichkeit die Karte auch zu mounten (Habe ich noch nicht getestet):

Vorbereitung:

sudo aptitude install gphotofs
sudo adduser alissa plugdev
sudo mkdir /media/d90
sudo chmod a+rwx /media/d90

Kamera über PTP-Protokoll mounten:

gphotofs /media/d90

unmounten:

fusermount -u /media/d90

Gefunden habe ich die Lösungen bei Patrick Koppenburg² und Debian Girl³.

Im Verdacht habe ich Momentan Apache in Verbindung mit zu wenig Swap-Space. Die Swap Partition ist 1GB groß, ebenso wie der RAM. Ich habe schon vor längerem beobachtet, dass der Swap offensichtlich voll läuft kurz bevor der Server nicht mehr antwortet. Ein Script das von Cron aufgerufen wird und mir verschiedene statistische Daten per Mail liefert wenn es rechtzeitig den ausgehenden Speicher bemerkt, zeigt deutlich eine unheimliche Anzahl von Apache Prozessen.

Blöd nur, dass man in einen gemieteten Server nur sehr schlecht neue Hardware bekommt und bei einer nicht lvm-Installation das Ändern der Plattengrößen, nun sagen wir, problematisch ist. Nach dem letzten Absturz war mir das dann doch zu viel und ich war bereits soweit das Risiko in kauf zu nehmen. Dank Onkel Google habe ich dann aber ein nützliches Tool gefunden, dass genau solche Situation wie sie sich mir stellen abzupuffern hilft: Swapspace¹.

Swapspace ist ein Daemon, der den Speicher überwacht und wenn dieser droht auszugehen dynamisch neue Swap-Dateien erstellt und wieder löscht. Das ganze macht er dann noch dazu sehr intelligent, so dass keine überflüssigen Swap-Dateien herumfliegen.

Da der Server im Regelfall den Swap nicht braucht kann ich zum jetzigen Zeitpunkt noch nicht sagen, ob Swapspace die Probleme löst. Wenn ich mit meinem Verdacht recht habe, gehe ich aber fest davon aus.

Die Lösung war dann MPlayer², genauer gesagt MEncoder. Dieser kann mit der Befehlszeile

mencoder -oac copy -ovc copy -forceidx -noodml input.avi -o output.avi

ganz einfach den AVI Index neu errechnen. Gefunden habe ich die Lösung hier³.

Blöd nur, dass Unity null Hardwarebeschleunigung kennt und offenbar alles andere als Resourcenschonend geschrieben ist. Auf Deutsch: für einen leistungsschwachen Rechner wie ein Netbook eigentlich unbenutzbar.

Als ich mich vor einigen Tagen wiedermal über die absolut langatmigen Reaktionszeiten ärgerte kam mir dann die Erleuchtung: ich surfte wiedermal auf der Webseite meiner alten liebe Enlightenment¹ vorbei.

Enlightenment E17

Das Enlightenment Projekt besteht aus einer Reihe von Libraries und dem Enlightenment Window Manager. E17 – die derzeit in der Entwicklung befindliche Version – ist als Desktopshell konzipiert und optimiert auf Resourcenschonung und optischer Gefälligkeit.

Die Entwicklung dauert nun bereits an die 10 Jahre. Umso überraschter war ich, als mir direkt die Meldung ins Auge fiel, das alle Core-Libraries in der beta3 zu Version 1.0 sind. E17 scheint kurz vor der Fertigstellung.

Compositing

Noch vor etwa 3 Jahren verkündete der Hauptentwickler, das Compositing niemals seinen Weg in E17 finden würde. Auch hier darf man sich freuen. Nichtnur ein Compiz-fork² namens Ectomorph³ ist vorhanden. Nein, E17 besitzt inzwischen sogar natives Compositing.

Installation

E17 befindet sich seit Version 10.10 wieder in den Ubuntu Paketquellen. Da diese Version allerding deutlich veraltet gegenüber der SVN Version ist, empfiehlt es sich weiterhin Enlightenment mit Hilfe des Scriptes easy_e17.sh⁴ zu installieren. Zumindest für mein persönliches empfinden ist die SVN Version nichtnur deutlich weiter entwickelt, sondern auch sehr viel stabiler als die bei Ubuntu enthaltene.

Jedenfalls ist gestern Abend mein Server kaum erreichbar gewesen, nach einigen Neustarts kam ich dann erstens darauf, dass sämtliche Services neben IPv4 Abfragen auch IPv6 abfragen versucht haben, was auf einem nur mit IPv4 angebundenen Server wenig Sinn macht, nur zu unnötigen Timeouts führt und die Logs mit Fehlermeldungen voll haut.

Entsprechend habe ich dann zuerst mal Bind9, Apache und Postfix auf reinen IPv4 Betrieb umgestellt:

Bind9:

in der Datei /etc/defaults/bind9

OPTIONS="-u bind"
# Set RESOLVCONF=no to not run resolvconf
RESOLVCONF=yes

wird zu:

OPTIONS="-4 -u bind"
# Set RESOLVCONF=no to not run resolvconf
RESOLVCONF=yes

Apache:

in allen Dateien unter /etc/apache2/sites-available/

Listen 80 #Mischbetrieb

wird geändert in die Form

Listen 0.0.0.0:80
Listen 192.170.2.1:80

Dabei natürlich die richtige IP dabei eingeben.

Dabei hab ich auch gleich mal den von Apache jedesmal beim Start angemahnten mischbetrieb von Wildcard und festen Virtualhosts aufgelöst, sprich alle * durch IP ersetzt.

Postfix:

In der /etc/postfix/main.cf

inet_protocol = ipv4

Nachdem ich das alles umgestellt hatte, waren zumindest die Logs mal sicher vor IPv6 Fehlermeldungen und es gab weniger Timeouts. Die CPU-Load ging aber immernoch auf 100%. Dabei fiel mir auf, dass ständig Spamassasin und clamscan liefen. Also mal ein wenig in den Virtualmineinstellungen geschmöckert.

Und siehe da: unter Email Messages > Spam and Virus scanning findet sich die Option Virus scanning programm, die per default auf Standalone scanner (clamscan) steht. Liest man sich den Hilfetext durch, erfährt man, dass der immer funktioniert. Nebenher läuft aber auch per default noch der clamdscan als Prozess, der natürlich nix zu tun hat und eigentlich schneller wäre.

Also Scanner auf clamdscan umgestellt, oh wunder, keine clamscan Prozesse mehr. Und die CPU-Load ist auch wieder in nem normalen bereich und hat ne ordentliche idle-time.

Das werd ich jetzt mal n paar Tage beobachten und mir dann überlegen, ob ich den Scanner laufen lasse oder ganz abschalte um noch etwas mehr Leistung freizugeben. Im Moment siehts ganz gut aus, der Deamon ist doch erheblich performanter als für jeden Scan n eigenen Prozess zu starten.

Plugin Update:

Wärend dem Schreiben dieses Artikels habe ich das Plugin für den Syntaxhighlighter auf SyntaxHighlighter ComPress von Andre Gärtner geändert.
Das hat unter anderem den Vorteil, dass es die benötigten JavaScript Dateien dynamisch einbindet und damit weniger Ladezeit benötigt. Außerdem nutzt es das aktuelle SyntaxHighlighter JS, das für Copy&Paste kein Flash mehr benötigt.

Links:

• Bind9 IPv4 only
• Apache IPv6 Considarations
• Virtualmin
• SyntaxHighlighter ComPress

Soviel zum positiven. Das Blöde ist nur, die Software die Samsung dazu Mitliefert, sowohl New PC Studio, als auch KIES funktionieren bei einigen Benutzern für das Update nur ab und zu, für andere garnicht.

Ich zähle mich zu den Letztgenannten. Hier¹ findet man aber zum Glück Hilfe, dort gibt es sowohl Images der aktuellen Samsung Firmware, als auch die dafür nötige Software “Odin”.

Nach zig Fehlversuchen mit der Samsung Software griff ich dazu, und das ganze funktionierte auf anhieb.

Da ich kaum Erfahrung mit Android 1.5 sammeln konnte, verzichte ich jetzt mal auf eine Auflistung der Verbesserungen, nur soviel sei gesagt, es ist schon viel schicker.

Als Schmankerl noch ein kleiner PlugIn-Hinweis:

Ich habe für diesen Artikel ein neues Plugin für saubere Fußnoten verwendet. ^{2 3}

Ja denkste! Ja es lässt sich einfach Installieren, sogar die Anwednungen installierts ohne zu motzen. Nur funktioniern die dann nicht richtig, weil das Air scheinbar Abhängigkeiten nicht richtig erkennt oder was auch immer. Die Anwendungen tun dann auch so als ob se laufen,verhalten sich aber komisch. Seesmic [2] läd zB Spelten nicht mehr richtig ab dem zweiten Start. Tweetdeck [3] sagt tatsächlich das es scheinbar einen Fehler bei Air gibt, aber nicht welchen.

Dank Tante Google bin ich dann auf die Seite Bauer-Power [4] gestoßen.  Die dort angebotene Lösung funktioniert leider auch nicht richtig. In den Kommentaren aber findet man einen Eintrag von “John”. Führt man auch das noch aus, wirft Air zwar immernoch eine Fehlermeldung auf der Konsole aus, dass 64 statt 32 bit Libs verwendet werden, die Anwendungen laufen jetzt aber richtig.

Die Anleitung zusammengefasst:

# Download my shell script: air-lib.sh
# Download Adobe Air from here: http://get.adobe.com/air
# Open a terminal and cd into the directory where you downloaded the items from 1 and 2
# Make the two items executable
>chmod +x air-lib.sh
>chmod +x AdobeAIRInstaller.bin
# Run my script
>sudo ./air-lib.sh
# Install Adobe Air
>sudo ./AdobeAIRInstaller.bin

Johns Ergänzung:

>sudo apt-get install ia32-libs
>sudo getlibs -l libgnome-keyring.so
>sudo getlibs -l libgnome-keyring.so.0
>sudo getlibs -l libgnome-keyring.so.0.1.1

and

>sudo cp /usr/lib/libadobecertstore.so /usr/lib32

[1] Adobe Air
[2] Seesmic
[3] TweetDeck
[4] Bauer-Power

httpd_spezial:

Directory "/var/www/web1/html">
Options +SymLinksIfOwnerMatch
php_admin_value safe_mode off
php_admin_flag safe_mode off
php_admin_value open_basedir none
</Directory>