Information Retrieval Blog

Nach einer interessanten Woche im Silicon Valley treffen wir uns beim Frühstück zu einem Debriefing. Die Mitglieder unserer heterogenen Gruppe (vom angefressenen Python-Programmierer bis zum im MoMa ausstellenden Photographen) haben natürlich die verschiedenen Besuche unterschiedlich beurteilt. Die ganz wenigen kommerziell orientierten Präsentationen wurden eher kritisch beurteilt. Viele verschiedene Besuche wurden als „bester Besuch“ genannt. Häufig wurde auch das breite Spektrum der Gruppe gelobt. Alle waren der Meinung dass die Organisatoren ein phantastisches Programm zusammengestellt haben und die meisten planen im nächsten Jahr wieder teilzunehmen.

Der letzte Tag unserer Silicon Valley Tour beginnt mit einem Frühstück, bei dem Felix Kramer von CalCars.org uns das Konzept des Plug-in Hybrid Autos vorstellt. CalCars.org hat bereits einige Jahre Erfahrung. Felix weist auf die Vorteile hin, wie beispielsweise die Nutzung von günstigem Nachtstrom für das Laden der Batterien. Anschliessend dürfen wir vor dem Hotel seinen Hybrid-Plug-in bewundern. Mancher Passant bleibt stehen oder stoppt sein Fahrrad (es ist „bike to work day“), um das Auto zu bewundern und eine Brochure mitzunehmen.

Die nächste Station ist eine Immobilienfirma in Palo Alto, welche grüne Häuser baut. Der typische Kunde scheint sich wenig Sorgen um die Umwelt zu machen. Umso mehr sind die steigenden Energiepreise ein überzeugendes Argument für den Verkaufsberater Galen Carnicelli. Gemäss seinen Aussagen ist die Energierechnung häufig 90% niedriger als bei einem normalen Haus. Nebenbei bekamen wir einen Eindruck über die hohen Immobilienpreise im Silicon Valley, welche nur marginal unter der Subprime-Kriese gelitten haben.

Zum Lunch gehen wir nach Redwood City zur Anwaltskanzlei Fish & Richardson. Eric Eldon erzählt uns von seinen Erfahrungen als Gründer seiner Start-Up WriteWith, welche wie die meisten Start-Up’s endete, nämlich erfolglos. Im Silicon Valley ist dies jedoch keine Schande, sondern völlig normal. Der Anwalt, der ihn betreut erzählt uns, wie man mit „deferred fees“ die Jungunternehmer unterstützt, welche die Anwaltshonorare noch nicht oder nie bezahlen können. In der Schweiz ist dies unüblich, wie ich von meinem Anwaltskollegen erfahre.

Auf der anschliessenden fahrt zum NASA Ames Research Center stellt sich heraus, dass einige die Pässe vergessen haben, was bei den hohen Sicherheitsvorschriften nicht empfehlenswert ist. Schliesslich klappt es doch und wir fahren mit unseren Van’s auf das riesige Gelände, eskortiert von unserem Guide. Wir fahren an riesigen Windtunnels vorbei zur NASA Advanced Supercomputing Facility, wo wir eine Einführung von Steve Hipskin erhalten, welcher die Earth Science Division leitet. Er informiert über die geplanten Missionen (z.B. zurück zum Mond zwischen 2015 und 2020) und verweist auf die vom neuen NASA-Direktor geförderte Public Private Partnership (z.B. Commercial Remote Sensing).

Anschliessend demonstriert uns Chris den Hyperwall, eine Wand mit 128 (16*8) Bildschirmen vor, welche insgesamt ein halbe Milliarde Pixel (!) umfassen. Damit werden die Resultate von Simulationen visualisiert, wie beispielsweise die Luftbewegung auf der gesamten Erdoberfläche, beispielsweise die Entstehung von Hurrikanen und die Raketenzündung beim Start. Chris scheint offensichtlich viel Spass an ein seiner „Playstation 10+“ zu haben.

Biegel Brymann führt uns anschliessend in „den Kühlschrank“, wo der Columbia Supercomputer (14'336 processors) seit 2004 und der neue RT Jones (4096 XEON Quad) seit 2008 in eisiger Kälte ihre Arbeit verrichten. Im August 2008 wird Pleiades (20'480 XEON Quad) seine Arbeit aufnehmen. Bemerkenswert ist auch die Speicherkapazität, welche einige Petabytes umfasst.

Da wir knapp an Zeit sind, geht es schnell weiter zum Biochemiker Chad Paavola, welcher uns über Methoden zur Herstellung von Biotreibstoffen der zweiten Generation informiert. Dank den hervorragenden Visualisierungen haben wir Nichtbiochemiker einen kleinen Einblick erhalten, wie heute an molekularen Strukturen herumgebastelt wird. Beeindruckt verlassen wir das NASA-Geländer und vereinbaren ein Debriefing am Samstagmorgen.

Den vierten Tag unserer Silicon Valley Tour beginnen wir mit einem Besuch von Apple, auf den sich die meisten freuen, weil wir anschliessend noch den Company Store besuchen. Wegen der strikten Informationspolitik von Apple, müssen wir umfangreiche NDA'a unterschreiben und dürfen ausserhalb des Executive Briefing Centers (EBC) nicht fotografieren. Zuerst präsentiert uns Jack Quattlebaum eine Firmenübersicht mit Zahlen. Wir fragen ihn, weshalb in der Schweiz nicht alle Netzbetreiber das iPhone vertreiben werden. Jack gibt zu bedenken, dass der Netzbetreiber für das iPhone bei sich grössere Anpassungen machen muss und dass die Verhandlungen nicht einfach sind.

Anschliessen demonstriert Steve Sullivan das neue Leopard-Betriebssystem, welches nun den SUSv 3 und Posix 1003.1 Spezifikationen genügt. Die anschliessende Demonstration (cover flow, exposé, time machine, spotlight, VoiceOver, iChat, Wiki Server, Podcast Producer) brachte für die vielen Mac-Besitzer unter uns nichts Neues ans Licht. Die Demo war aber trotzdem beachtenswert, weil von der Art und Weise wie Apple sein Produkte präsentiert, kann sogar mancher Profi noch etwas lernen.

Nachdem Miguel Young versuchte, uns in eine Diskussion über iTunes und Mobile Learning zu verwickeln, ging es in den Company Store. Neben Apple-Shirts wurden auch einige Terbayte-Kistchen gekauft, die man nun mit vielen Silicon Valley Fotos und Videos füllen kann.

Nach einer kurzen Fahrt nach Cupertino, sind wir bei Microsoft Research, wo uns Charles (Chuck) Thacker begrüsst. Welcher Kontrast! Nach dem schillernden und eloquenten EBC erzählt uns Chuck mit sorgfältig gewählten Worten, was die Hauptaktivitäten von Microsoft Research im Silicon Valley sind. In Anbetracht seiner Erfahrung und Weitsicht lohnt es sich gut zuzuhören. Es besteht keine Gefahr, dass seine klassischen Bullet Point-Folien ohne jegliche Animation ablenken würden.

Chuck stellt einige interessante Projekte vor, wie beispielsweise Dryad/DryadLINQ für verteilte datenparallele Programmierung von grossen Clustern mit gerichteten Graphen (anscheinend nicht möglich mit Google’s MapReduce). Interessant ist auch die BEE3, eine aus FPGA’s bestehende HW-Plattform, um HW-Architekturen zu simulieren und studieren. MS möchte damit Einfluss auf die HW-Lieferanten nehmen. Niklaus Wirth hat wahrscheinlich von dieser HW-Emulationsmaschine geträumt, als er damals an der ETH FPGA’s in den Unterricht integrierte.

Seine Präsentation wurden mit Anekdoten aufgelockert, beispielsweise als er am Anfang zu Steve Ballmer ging und sich beklagte, dass er seine Windows-Maschine fünf Mal pro Tag booten müsse. Auch ein Seitenhieb Richtung Google gab es (They don’t have to ship something and they don’t have to answer something!).

Wir beginnen den Tag mit einem Besuch bei VMWare, welche hinter dem legendären Xerox PARC domiliziert ist. Zuerst müssen wir eine PPT-Lawine mit den offiziellen Produkteinformationen über uns ergehen lassen. Anschliessend stellt uns Raj Mallempati Virtual Desktop Infrastructure (VDI) vor, welche vor allem bei denen auf Interesse stösst, welche mehr als hundert Windows Server warten müssen. Auf der anschliessenden Fahrt zur Half Moon Bay bringt es jemand auf den Punkt: Im Wesentlichen löst VDI Windows Probleme .

In der Half Moon Bay treffen den bekannten Blogger Robert Scoble, welcher in seinem populären Blog die neusten Tech News verkündet. Momentan arbeitet er für eine viel beachtete Video-Online-Zeitschrift. Ich frage Bob, welcher von seiner Blogging Aktivität gut leben kann, was seiner Meinung nach in den letzten Jahren am meisten im Silicon Valley geändert hat. Er meint, dass vor allem die Welt kleiner geworden ist, und dadurch die Start Up Firmen viel mehr Möglichkeiten haben, weltweit Promotion zu betreiben.

Am Nachmittag sind wir wieder in San Francisco bei Adaptive Path, eine Design Firma, die sich "Great Experience" als Mission auf die Fahne geschrieben hat. Sarah Nelson zeigt uns, wie Adaptive Path die interaktive Benutzerschnittstelle für PayCycle (Lohnbuchhaltung für Kleinbetriebe) entwickelt hat. Die grossen Papierfahnen, welche in den Workshops entstanden sind werden ausgebreitet und können bestaunt werden.

Am Abend sind wir bei einer Veranstalting von Creative Commons. Nach Erik Möller von Wikimedia Foundation und Alexis Rossi vom Internet Archive präsentieren von unserer Gruppe Giorgio Pauletto und Hannes Gasser. Giorgo präsentiert seine Erfahrungen beim Kanton Genf über die neue Open Source Strategie. Hannes stellt die Swiss Open Systems User Group /ch/open/ und ihre Aktivitäten vor. Fotos auf Flickr.

Fotos

Erik Moeller from Wikimedia Foundation

Am zweiten Tag unserer Silicon Valley Tour besuchen wir zuerst das Yahoo Brickhouse, den sogenannten Inhouse-Inkubator von Yahoo in San Francisco. Als uns Chad Dickerson, der Dirokter begrüsst, ist es "erst" 10 Uhr morgens und das Grossraumbüro ist noch praktisch leer. Die Vorgeschichte des Brickhouse beginnt bei Flickr, welche im März 2005 von Yahoo aufgekauft wurde. Die Flickr-Mitgründerin Catarina Fake hat zu Beginn das Yahoo Brickhouse geleitet. Später wurde die Advanced Products Group von Chad Dickerson integriert, welcher dann die Leitung übernahm. Insgesamt konnten ansprechende Produkte lanciert werden wie Pipes, Bravo Notation, FireEagle (API für Location Based services), Kickstart und Yahoo Live, wobei die beiden letzteren noch von der Advanced Products Group entwickelt wurden. Das Brickhouse ist immer noch auf der Suche nach der­­---wie Chad sagt--- "game changing product idea", um das Leitbildvom Brickhouse zu verwirlichen: "Building the next Flickr within Yahoo!"

Am Nachmittag geht es in die weniger vornehme Peripherie von San Francisco zu Atlassian, welche gerade am Umziehen sind. Kisten stehen herum. Wir sind die ersten, die das Sitzungszimmer benutzen dürfen. Ein aufgestellter Jeffrey Walker begrüsst uns mit Cookies und Getränken. Nach dem Brickhouse lassen wir uns gerne von der bei Atlassian gut spürbaren Dynamik anstecken. Die meisten von uns nutzen Jira oder Confluence und möchten von Jeffrey erfahren, was so läuft. Die australische Atlassian ist heute mit 170 Mitarbeitern weltweit tätig und dank ihrem speziellen Businessmodell sehr erfolgreich. Atlassian hat keine Sales Force, sonder spricht die Entwickler in der Open Source Gemeinde direkt an. Die Entwickler "verkaufen" dann die Produkte ihrem Management. Die Sprachformulierungen sind auf Entwickler ausgericht und teilweise recht bodenständig (No Bullshit! Don't fuck the customers!), was sich wohl kaum in den europäischen Teppichetagen bewähren würde. Der Zielgruppe, d.h. die Entwickler, werden sich daran weniger stören, dafür schätzen sie umsomehr, wie offen man über aktuelle Probleme spricht (schwierige Erweiterbarkeit des inzwischen umfangreichen Jira und die "Rich Text"-Fähigkeit von Confluence). Wir sind uns alle einig, dass sich der Besuch bei Atlassian gelohnt hat.

Der erste Tag der Tour im Silicon Valley begann mit einem Besuch des Standford Center for Internet and Society. Nach der Begrüssung durch die Direktorin Laureen Gilman, referierte Bruce Caham über ethische Banken, Stuart Suffer über Ökopatente und Colette Vogele über Netzwerkneutralität. Die Law School der Standford University beschäftigt sich hier mit einer Forschrichtung, die ganz am Anfang Ihres Lebenszyklus steht.

Nach dem Lunch im Faculty Club zeigte uns Bill Cockayne das so genannte Center for Critical Forsight. Hier werden im Auftrag von grossen Firmen futuristische Prototypen gebaut. Das Center ist eine grosse Werkstatt mit einem grossen kreativen Chaos. Zum Aufräumen gibt es kaum Zeit, da die Studenten unter grossem Druck stehen in kurzen Zeitabständen Zwischenprototypen zu produzieren und diese zu präsentieren. Eine weitere Herausforderung ist, dass sich die Mitglieder der bunt zusammen gewürfelten Teams sehr schnell zusammenraufen müssen, um produktiv zu sein.

Danach verschob sich Gruppe Down Town zur Design Firma IDEO. Bill Moggridge, ein Mitbegründer von IDEO, führte uns persönlich durch Firma. IDEO ist weltweit tätig und bringt neue Produkte oder Produktideen in eine Form, dass sie vom Markt möglichst gut akzeptiert werden. Das Spektrum ist riesig: Fahrräder (Cruiser für Shimano), Kinderspielzeuge, Küchengeräte (Zyliss), aber auch chirurgische Instrumente. Der Erfolg von IDEO scheint auf einem raffinierten Innovationsprozess zu beruhen, der bei bei der Mitarbeiterauswahl (Only T-shaped & PI-shaped people!) anfängt und bei der Arbeitsumgebung aufhört (Minimum personal space and maximum project space!).

Die Grundsätze von IDEO sind im Sitzungszimmer über dem riesigen White Board für alle gut sichtbar aufgeschrieben:

• Defer Judgment,
• Encourage,
• Wild Ideas,
• Build on the Ideas of Others,
• Stay Focused on Topic,
• One Conversation at a Time,
• Be Visual,
• Go for Quantity!

Mit einigen Mitarbeitern, welche vorher ihres an der Decke aufgehängte Fahrrad herunter gelassen haben, verlassen wir die interessante Firma. Am nächsten Tag geht es nach San Francisco zu Yahoo und Atlassian.

Nachdem ich Ende der 90er Jahre im Silicon Valley gearbeitet und gewohnt habe, war ich sehr gespannt, wie sich das Valley heute präsentiert. Einiges ist geblieben, beispielsweise die helle kalifornische Sonne, welche die Freundlichkeit und gute Laune der Kalifornier zu bewirken scheint. Anderes ist schlimmer geworden, wie etwa der Verkehr auf der 101. Dafür ist die Grösse der Cubicles bei HP, wo ich arbeitete, noch kleiner geworden (6*8 ft!!). Bald wird sich herausstellen, ob es eine gute Idee war, an der Studienreise der Swiss Silicon Valley Association teilzunehmen. Das Programm jedenfalls sieht viel versprechend aus. Am ersten Tag der Studienreise wird es darum gehen, wie man coole Erfindungen findet.

On July 27th 2007 the Industry Event of the ACM SIGIR conference took place. SIGIR is the major international forum for the presentation of new research results and the demonstration of new systems and techniques in the field of information retrieval. More than 500 persons from more than 30 countries attended the conference.

The conference concluded with workshops and the Industry Event which was organized the very first time in the context of SIGIR. More than 100 persons attended the Industry Day which reflects the increasing interests in commercial information retrieval applications. Given the success of this industry event, the conference organizers plan another Industry Event next year, when SIGIR will take place in Singapore.

Nachdem sich bekannte Bibliotheken in den USA und Deutschland (Harvard, Stanford, Bayerische
Staatsbibliothek) Google an die Brust geworfen haben, um Bibliotheksbücher zu digitalisieren, hat nun auch die
Waadtländer Kantons- und Universitätsbibliothek (BCU) in Lausanne diesen Weg gewählt.

Dies wird verständlich, wenn man den Digitalisierungsaufwand abschätzt (siehe Blog Beitrag vom 30.12.2005) und die schlechte Finanzsituation der meisten Bibliotheken berücksichtigt. Völlig unverständlich ist jedoch der Hinweis in der NZZ am 9.6.2007, dass die Situation bei den Rechten an den digitalisierten Büchern unklar ist. Ein Mangel an Geld, vor allem im gebeutelten Bibliotheksbereich, ist entschuldbar. Die im NZZ-Artikel erwähnte Unklarheit bei den Rechten lässt jedoch auf einen Mangel an Ideen schliessen, was hingegen NICHT entschuldbar ist. Im Hinblick auf eine angemessene Zukunft der Bibliotheken wäre es mehr als angemessen, sich ernsthaft Gedanken zu machen, wer mit welchen Rechten zukünftig etwas Sinnvolles anstellen soll.

Udi Manber, VP Engineering bei Google, hat an der Google Tagung "Searchology" eine sprachübergreifende Suche angekündigt. Gleichzeitig hat Marissa Mayer, VP Search Product and User Experience, die Universalsuche angekündigt, wo Büchersuche, geografische Suche, News-Suche sowie Bild- und Videosuche in eine einzige Suche integriert werden.

Aufgrund der ersten Kommentare wird befürchtet, dass bei Internet-Recherchen noch mehr Unerwünschtes gefunden wird.

Searchology Tagung

Der Bundesrat hat gestern an seiner Sitzung vom Ergebnis des Vernehmlassungsverfahrens über die Revision des Bundesgesetzes über die Massnahmen zur Wahrung der inneren Sicherheit (BWIS) Kenntnis genommen. Wenn ich mir die im Ergebnisbericht zusammengefassten Meinungen anschaue, frage ich mich, ob die Stellungnehmenden sich vorstellen können, wie die so genannten "besonderen Mittel zur Informationsbeschaffung" funktionieren und welche Informationen diese liefern können? Vielleicht sollte man nicht nur auf diejenigen hören, welche nicht einmal eine Schreibmaschine bedienen können, sondern auch auf solche, die sich in diesem Bereich auskennen und sich ernsthaft Sorgen machen: "Privacy: What’s different now?"

Mit der wachsenden Popularität von Information Retrieval begegnet man in letzter Zeit wieder häufiger dem Heuhaufen, in dem eine Nadel versteckt ist, die es gilt zu finden. Dieses Paradigma wird leider immer noch aus der Schublade geholt, wenn man in simplen Worten beschreiben möchte, welches Problem eigentlich Information Retrieval löst. Eine einfache Problembeschreibung ist durchaus erwünscht. Die wichtigsten Charakteristika des Problems müssen jedoch erhalten bleiben.

Dies ist aber beim Heuhaufenmodell mit Nadel überhaupt nicht der Fall. Beispielsweise ist es umso schwieriger die Nadel zu finden, je grösser der Heuhaufen ist. Bei einer grossen Dokumentenkollektion ist es genau umgekehrt! Je grösser die Kollektion, desto einfacher ist es, relevante Dokumente zu finden, wie dies im Blog-Beitrag [1] erläutert wird. Eine Nadel in einem Heuhaufen ist völlig unbrauchbar, um die Verteilung von relevanten Dokumenten in grossen Dokumentenkollektionen zu veranschaulichen. So einfach ist das Problem (zum Glück) nicht!

Auch Einstein hat gewarnt: Explanations should be as simple as possible, but not too simple.

[1] Grobe Suchmechanismen für grosse
Dokumentenkollektionen und feine Mechanismen für kleine Kollektionen

Mandl, Thomas (2006): http://doi.acm.org/10.1145/1149941.1149957

Die Habilitation erfolgte am Fachbereich III Informations- und Kommunikationswissenschaften der Universität Hildesheim (Venai in Informationswissenschaft)

Gutachter:

Prof. C. Womser-Hacker (Informationswissenschaft, Universität Hildesheim)

Prof. R. Kuhlen (Informationswissenschaft, Universität Konstanz)

Prof. N. Fuhr (Informatik, Universität Duisburg-Essen)

Dank TREC ist es den Retrieval-Spezialisten klar geworden, dass es in grossen Dokumentenkollektionen einfacher ist eine gute Präzision zu erzielen als in kleinen Kollektionen. Beim so genannten VLC Track (VLC = Very Large Collection) wurde beobachtet, dass P@20 (Anteil relevanter Dokumente unter den top 20) um 28% besser war als bei einer zehn mal kleineren Stichprobe. Dieses empirisch gefundene Resultat wurde von Steve Roberston und David Hawking analisiert und mit Hilfe von Signaltheorie erklärt.

Leider ist dieses sehr schöne und wichtige Resultat in einem recht langen (52 Seiten!) und nicht ganz einfach zu lesenden Artikel versteckt. Anders kann man sich kaum erklären, weshalb Fachartikel mit dem Titel "In Bibliothekskatalogen googeln" publiziert werden. In einem Bibliothekskatalog haben wir bestenfalls einige Millionen homogene Datensätze, im Internet einige Milliarden Dokumente, und diese erst nocht extrem heterogen. Abgesehen von der Heterogenität ergibt sich nur schon aus dem Grössenunterschied (1000 mal kleinere Kollektion), dass "googeln" in Bibliothekskatalogen keine gute Idee ist.

Ähnlich absurd ist der Vorschlag, dass eine Portalsuche nur Dokumente finden soll, welche alle Suchkriterien erfüllt (also eine UND-Verknüpfung bildet). Als Begründung wurde mir gesagt, dass dies die grossen Internet-Suchdienste auch machen. Der Grössenvergleich hier ist noch viel krasser: Eine Portalsuche erschliesst i. Allg. einige Tausend Web-Seiten, also eine Million (!) weniger als einer der grossen Internet-Suchdienste. Bei diesen kleinen Kollektionen haben wir eine nicht zu vernachlässigende Wahrscheinlichkeit, dass der Suchende eine andere Formulierung als der Autor der Web-Seiten verwendet, so dass die UND-Verknüpfung ein leeres Resultat liefert.

Bei sehr grossen Kollektion kann man also durchaus gröbere Suchmechanismen einsetzen, häufig muss man dies sogar tun, wegen der Datenmenge und der Performanz. Die Benutzer von kleineren Dokumentenkollektionen dürfen und sollen jedoch feinere Mechanismen erwarten.