loopkid: Category Mac OS X

predefined character classes in grep

Stefan — Sun, 06 Jul 2008 15:54:00 +0200

Many regex implementations have “macros” for various character classes. In Perl, for example, \d matches any digit ([0-9]) and \w matches any “word character” ([a-zA-Z0-9_]). Grep uses a slightly different notation for the same thing: [:digit:] for digits and [:alnum:] for alphanumeric characters. (BSD)

Finally, certain named classes of characters are predefined within bracket expressions, as follows. Their names are self explanatory, and they are [:alnum:], [:alpha:], [:cntrl:], [:digit:], [:graph:], [:lower:], [:print:], [:punct:], [:space:], [:upper:], and [:xdigit:]. For example, [[:alnum:]] means [0-9A-Za-z]. (grep man page)

Was unter Ruby

line = "length 1450"
puts line if line =~ /\d{4}/

heißt wird also unter der bash mit grep zu

export line="length 1450"
echo $line | egrep [[:digit:]]{4}

was zwar die regulären Ausdrücke unnötig aufbläht, aber immerhin die gleiche Funktionalität zur Verfügung stellt.

beautiful network monitoring

Stefan — Fri, 27 Jun 2008 17:10:00 +0200

Monitoring networks with tcpdump works fine, but even in quiet mode tcpdump outputs too much information if you’re interested in application layer protocols like HTTP or IMAP. A nice alternative on the command line is ngrep which has a much more readable output. ngrep filters all tcp packets with an empty data part and strips the header of non-empty tcp packets. The only beauty flaw in my eyes is the dot ngrep inserts for every tab and for every carriage return. In my opinion it should offer an option to specify the tabulator size and just ignore the carriage returns.

But see for yourself, here the tcpdump output of an IMAP session,

$ sudo tcpdump -i en1 -A -s 0 -qtn port imap
tcpdump: verbose output suppressed,
use -v or -vv for full protocol decode
listening on en1, link-type EN10MB (Ethernet),
capture size 65535 bytes
IP 192.168.2.22.50556 > 80.237.145.78.143: tcp 0
E..@..@.@.......P..N.|...7.n........Go.............
/!..........
IP 80.237.145.78.143 > 192.168.2.22.50556: tcp 0
E..<..@.9...P..N.......|.....7.o...............
w.A./!......
IP 192.168.2.22.50556 > 80.237.145.78.143: tcp 0
E..4..@.@.......P..N.|...7.o...............
/!..w.A.
IP 80.237.145.78.143 > 192.168.2.22.50556: tcp 21
E..I..@.9...P..N.......|.....7.o...........
w.A./!..* OK Dovecot ready.

IP 192.168.2.22.50556 > 80.237.145.78.143: tcp 0
E..4.P@.@..j....P..N.|...7.o...............
/!..w.A.
IP 192.168.2.22.50556 > 80.237.145.78.143: tcp 33
E..U.8@.@..`....P..N.|...7.o...............
/!.2w.A.1 LOGIN foo@bar.net password

IP 80.237.145.78.143 > 192.168.2.22.50556: tcp 0
E..4..@.9...P..N.......|.....7.......<.....
w.F'/!.2
IP 80.237.145.78.143 > 192.168.2.22.50556: tcp 17
E..E..@.9...P..N.......|.....7......c......
w.F./!.21 OK Logged in.

IP 192.168.2.22.50556 > 80.237.145.78.143: tcp 0
E..4.0@.@.......P..N.|...7.....?.....D.....
/!.>w.F.
IP 192.168.2.22.50556 > 80.237.145.78.143: tcp 14
E..B.#@.@.......P..N.|...7.....?...........
/!.cw.F.1 LIST """%"

IP 80.237.145.78.143 > 192.168.2.22.50556: tcp 0
E..4..@.9...P..N.......|...?.7.............
w.H./!.c
IP 80.237.145.78.143 > 192.168.2.22.50556: tcp 513
E..5..@.9...P..N.......|...?.7.............
w.H./!.c* LIST (\HasChildren) "." "Trash"
* LIST (\HasNoChildren) "." "Sent"
* LIST (\HasNoChildren) "." "Spam"
* LIST (\HasNoChildren) "." "Sent Messages"
* LIST (\HasNoChildren) "." "Drafts"
* LIST (\HasNoChildren) "." "Spamtraining"
* LIST (\HasNoChildren) "." "Hamtraining"
* LIST (\HasNoChildren) "." "Spamtesting"
* LIST (\HasNoChildren) "." "Hamtesting"
* LIST (\HasNoChildren) "." "Deleted Messages"
* LIST (\HasNoChildren) "." "Spamverdacht"
* LIST (\HasNoChildren) "." "INBOX"
1 OK List completed.

IP 192.168.2.22.50556 > 80.237.145.78.143: tcp 0
E..4]'@.@.8.....P..N.|...7.....@...........
/!.cw.H.
IP 192.168.2.22.50556 > 80.237.145.78.143: tcp 10
E..>.L@.@..c....P..N.|...7.....@.....N.....
/!..w.H.1 LOGOUT

IP 80.237.145.78.143 > 192.168.2.22.50556: tcp 19
E..G..@.9...P..N.......|...@.7.............
w.IP/!..* BYE Logging out

IP 192.168.2.22.50556 > 80.237.145.78.143: tcp 0
E..4.I@.@..p....P..N.|...7.....S.....%.....
/!..w.IP
IP 80.237.145.78.143 > 192.168.2.22.50556: tcp 24
E..L..@.9...P..N.......|...S.7.............
w.IP/!..1 OK Logout completed.

IP 192.168.2.22.50556 > 80.237.145.78.143: tcp 0
E..4C#@.@.R.....P..N.|...7.....l...........
/!..w.IP
IP 192.168.2.22.50556 > 80.237.145.78.143: tcp 0
E..4.;@.@.......P..N.|...7.....l...........
/!..w.IP
IP 80.237.145.78.143 > 192.168.2.22.50556: tcp 0
E..4..@.9...P..N.......|...l.7.......j.....
w.IQ/!..

20 packets captured
28 packets received by filter
0 packets dropped by kernel

compared with the corresponding ngrep output.

$ sudo ngrep -d en1 -W byline port imap
interface: en1 (192.168.2.0/255.255.255.0)
filter: (ip) and ( port imap )
####
T 80.237.145.78:143 -> 192.168.2.22:50556 [AP]
* OK Dovecot ready..

##
T 192.168.2.22:50556 -> 80.237.145.78:143 [AP]
1 LOGIN foo@bar.net password.

##
T 80.237.145.78:143 -> 192.168.2.22:50556 [AP]
1 OK Logged in..

##
T 192.168.2.22:50556 -> 80.237.145.78:143 [AP]
1 LIST """%".

##
T 80.237.145.78:143 -> 192.168.2.22:50556 [AP]
* LIST (\HasChildren) "." "Trash".
* LIST (\HasNoChildren) "." "Sent".
* LIST (\HasNoChildren) "." "Spam".
* LIST (\HasNoChildren) "." "Sent Messages".
* LIST (\HasNoChildren) "." "Drafts".
* LIST (\HasNoChildren) "." "Spamtraining".
* LIST (\HasNoChildren) "." "Hamtraining".
* LIST (\HasNoChildren) "." "Spamtesting".
* LIST (\HasNoChildren) "." "Hamtesting".
* LIST (\HasNoChildren) "." "Deleted Messages".
* LIST (\HasNoChildren) "." "Spamverdacht".
* LIST (\HasNoChildren) "." "INBOX".
1 OK List completed..

##
T 192.168.2.22:50556 -> 80.237.145.78:143 [AP]
1 LOGOUT.

#
T 80.237.145.78:143 -> 192.168.2.22:50556 [AP]
* BYE Logging out.

##
T 80.237.145.78:143 -> 192.168.2.22:50556 [AFP]
1 OK Logout completed..

28 received, 0 dropped

force unmount on mac os x

Stefan — Fri, 27 Jun 2008 01:16:00 +0200

When using Mac OS X you might have encountered this message.

The disk "foobar" is in use and could not be ejected.
Try quitting appplications and try again.

This message may occur even if you have all closed all programs. The guilty party for this behavious may be Leopard’s FSEvents, which sometimes has a lock on a volume. To force the unmount of a volume just open a Terminal and use umount.

sudo umount -f /Volumes/FooBar

tcpdump: packets dropped by kernel

Stefan — Wed, 25 Jun 2008 09:49:00 +0200

tcpdump is a really nice tool, but it may render useless with it’s default settings.

$ sudo tcpdump -i en1

In my case led to

80 packets captured
7705 packets received by filter
6794 packets dropped by kernel

To solve the issue I had to turn off address translation.

$ sudo tcpdump -i en1 -n

Now the results look as expected.

6941 packets captured
7011 packets received by filter
0 packets dropped by kernel

slow iterators in ruby 1.9 on mac

Stefan — Tue, 17 Jun 2008 22:45:00 +0200

If you ever wondered why your Ruby programs are not faster but much slower with Ruby 1.9 you might be using each or times iterators on large collections.

10000000.times {}

In fact if you do a benchmark,

require 'benchmark'

n = 10000000

Benchmark.bm do |x|
  x.report { n.times {} }
end

you get stunning results.

$ ruby bench.rb
   user     system      total        real
   0.720000   0.000000   0.720000 (  0.721872)
$ ruby1.9 bench.rb 
   user     system      total        real
   16.670000   9.110000  25.780000 ( 25.923977)

When increasing the number of iterations by powers of ten it looks like the computational complexity of the times iterator is O(n) in Ruby 1.9. According to Antonio Cangiano this behaviour is specific to Mac OS X and does not appear on Linux.

installing ruby 1.9 on leopard

Stefan — Tue, 17 Jun 2008 02:38:00 +0200

Thanks to Caspar Florian Ebeling installing Ruby 1.9 on Mac OS 10.5 is now a breeze. Just install MacPorts if you haven’t already and then issue a

sudo port install ruby19

Now you can launch Ruby 1.9 with ruby1.9 and irb with irb1.9.

For the more adventurous souls among you here’s how to compile it by hand. To compile Ruby 1.9 you need Readline 5.2, therefore it will be installed if it isn’t already there. Commands with a trailing backslash are multiline statements. If you prefer to compile Readline 5.2 on Leopard by hand, you should have a look at this patch.

sudo port install readline
curl -O ftp://ftp.ruby-lang.org/pub/ruby/1.9/ruby-1.9.0-0.tar.gz
tar xvfz ruby-1.9.0-0.tar.gz
cd ruby-1.9.0-0
./configure --prefix=`echo ~`/ruby19 --program-suffix=1.9 \
--with-readline-dir=/opt/local
make
make install

Now add ~/ruby19/bin to your PATH-variable (for example in ~/.bash_profile or ~/.bashrc)

export PATH=~/ruby19/bin:$PATH

To activate the changes just launch a new terminal window. Now you can launch Ruby 1.9 with ruby1.9 and irb with irb1.9.

smart sleep for macbooks

Stefan — Tue, 03 Jun 2008 22:21:00 +0200

Since MacBook’s safe sleep is not much fun, when you’re on the go most of you have probably addressed this issue manually on the command line or utilized a script. Thanks to Patrick Stein there is now a much nicer way of handling things. With his SmartSleep prefPane you no longer have to decide between sleep and hibernation, but you can rather get best of both worlds. Usually you get the quick sleep but when your battery is lower than a predefined threshold, the prefPane switches the notebook to safe sleep so you don’t lose your data in case of a longer time without power supply.

documentation style

Stefan — Fri, 08 Feb 2008 17:46:43 +0100

Meine Dokumentationen sehen oft nicht anders aus als Auszüge aus der .bash_history zusammen mit Listings oder Diffs von Konfigurations-Dateien und einigen Erklärungen dazu. Zum Beispiel warum eine bestimmte Version einer Software eingesetzt werden musste oder dergleichen.
(Arne Brodowski)

Es ist immer schön, wenn man das Gefühl hat nicht allein da draußen zu sein.

never trust the defaults

Stefan — Fri, 01 Feb 2008 21:43:25 +0100

Die linksseitig angezeigte Einstellung von Apple Mail ist ab Werk auf “Nach einer Woche” gestellt. Das ist kein Problem, solange man selber die Konfiguration einträgt, wenn man jedoch den hinterhältigen Einrichtungs- assistenten benutzt, dann wird man nicht nach seiner Meinung zu diesem Thema gefragt und das Häkchen einfach stillschweigend auf besagten Defaultwert gesetzt. Es sei erwähnt, dass ich meinen Papierkorb niemal leere, sich darin also eine Aufzeichnung meines gesamten Schriftverkehrs befindet. Der Papierkorb ist somit ähnlich wie musikalische Assoziationen eine Art Tagebuchersatz für mich. Anhand meiner Mails kann ich ziemlich genau nachvollziehen, was ich zu einem beliebigen Zeitpunkt der letzten zehn Jahre gemacht habe.

Wenn man nun Benutzer eines IMAP-Kontos ist, dann weist man nach Abschluß der Konfiguration üblicherweise noch die Ordner für Entwürfe, für gesendete und für gelöschte Mails den providerspezifischen Ordnern zu. Wenn man nun später zufällig mal einen Blick in seinen Papierkorb wirft dann haut es einen erstmal kräft aus den Latschen. Bis auf wenige aktuelle Mails ist der komplette Inhalt des Papierkorb gelöscht worden.

Naja, kein Problem, der Herr hat doch schließlich für solche Fälle ein aktuelles Backup, oder nicht ? Ja, habe ich sogar tatsächlich, aber hat schonmal ernsthaft jemand probiert bei GMX mehr als Zwanzigtausend Mails in einen IMAP-Ordner zu kopieren. Das macht definitiv keinen Spaß. Ich habe damit die letzten Tage verbracht. In der Praxis sieht das nämlich so aus, dass man alle hundert Mails eine Fehlermeldung erhählt und nachdem man diese bestätigt hat ist der Ordner dann erstmal für mehrere Minuten für IMAP-Zugriff gesperrt. Fließbandarbeit muss eine wahrhaft befriedigende Aufgabe im Vergleich sein.

Dass die GMX-IMAP-Server darüber hinaus auch noch schnarchlangsam sind, eine alberne Größenbeschränkung für Mails haben und scheinbar nach dem Zufallsprinzip funktionieren sei dabei nur am Rande erwähnt. Für so einen instabilen Service Geld zu verlangen ist eigentlich ein Unding. Für die Google-Suchlinge: GMX IMAP SUCKS. Das beste ist noch die scheinheilige “Momentan sind uns keine Störungen bekannt”-Meldung auf deren Supportseiten. Was muss denn bitteschön bei denen passieren, damit da mal was anderes steht ? Ein Bombenangriff vielleicht ?

Bitte, bitte lass mich nie wieder diese Arbeit verrichten müssen!

amua ready for leopard

Stefan — Sun, 27 Jan 2008 21:53:00 +0100

Im Oktober letzten Jahres hatte ich bereits kurz einen schlanken Ersatz für die Bloatware namens Last.fm-Player vorgestellt. Leider hatte Amua damals noch einen kleinen Bug, der verhindert hat, dass die abgespielten Tracks auch gescrobbelt wurden, außerdem war es noch nicht unter Leopard lauffähig. Der Bug ist behoben und leopardtauglich ist Amua nun auch. Daumen hoch!