Cuda

Torsten hat mich auf CUDA hingewiesen - Eine allgemeine GPU-Programmierungs-Schnittstelle, nicht nur für Computerspiele. Matrixoperationen etc. Hört sich sehr sehr interessant an. Und demnächst kommt mit OpenCL ein Industriestandard.
NVIDIA_CUDA_Programming_Guide_2.0.pdf (application/pdf Object)

The Computer Industry Comes With Built-In Term Limits

In diesem Artikel argumentiert ein Professor Stross, dass es bisher keine Technologie-Firma geschafft hat, in zwei Technologiewellen erfolgreich zu sein. IBM wäre demnach die Firma des Mainframes, Microsoft die Firma des Desktop PCs - und Google die Firma der Internet-Zeit. Er führt auch an, dass MS in seinem Online-Business wachsende Verluste produziert, während der Marktanteil seit der Einstellung des MSN Provider-Businesses sinkt.

Munich Redux: Germany’s Hot Spot of the Moment - New York Times

Die New York Times hat einen bewundernden bewundernden Bericht über München geschrieben.

Excellent timing: Face to Face with John Paulson - Pensions & Investments

John Paulson ist innerhalb eines Jahres zu einem der reichsten Menschen der Welt geworden, weil er vor ein paar Jahren erkannt hat, dass der Kreditmarkt in den USA Probleme bekommen wird, und hat deshalb mit seinen Fonds auf Kreditausfälle gewettet.
Etwas Handwerkszeug in diesem Bereich zu besitzen könnte wirklich nicht schaden...

Wo die Elite dahoam is´

Ein Artikel über die aktuelle Lage an LMU und TUM
Wo die Elite dahoam is´ - Job + Karriere - computerwoche.de

Pseudocode

Fast jedes Mal, wenn ich einen in mühsamer Arbeit erstellten Algorithmus in Pseudocode übersetze, entdecke ich darin Bugs und finde oft noch eine elegantere Art, dasselbe auszudrücken.
Deshalb, das nächste Mal: Man nehme LaTeX, algorithmic.sty und schreibe den Algorithmus in Pseudocode. Dabei die höchst mögliche Abstraktion verwenden. Prä- und Post Conditions eintragen.
Normalerweise fängt man dann an, die Unit Tests zu überarbeiten.
Und daran zu denken, in Zukunft alles in Python zu schreiben - weil der Pseudocode sowieso fast so aussieht.

Miese Karrierechancen an deutschen Universitäten - Job + Karriere - computerwoche.de

"Die Gretchenfrage am Ende des Studiums lautet oft: Wirtschaft oder Uni? Wer den akademischen Betrieb favorisiert, sollte sich ernsthaft überlegen, Deutschland den Rücken zu kehren. Echte Karrieren an heimischen Universitäten sind nämlich rar gesät."
Miese Karrierechancen an deutschen Universitäten - Job + Karriere - computerwoche.de

Boston Dynamics Big Dog (new video March 2008)

Extrem sehenswertes Video darüber, was derzeit State of the Art ist bei künstlichen Hunden.
Und wofür werden sie benutzt werden? Um Waffen an die Front zu bringen, natürlich...

Statistical Arbitrage

FEN One on One Interview: Emanuel Derman

FEN: If you were starting out in quantitative finance now, what area would you find the most challenging?

Derman: Not derivatives at this point, although it would be the easiest segue from physics. If I were still doing research or coming in new to the field, I’d find statistical arbitrage interesting. It’s about market microstructure, about trying to understand how prices actually get determined. In derivatives you assume the existence of prices before you start. Then you calculate the option price from the stock price. It’s a relative problem. In contrast, the stat-arb people have to be concerned at bottom with how stock prices come into existence. They have to understand the price cross-sectionally, by comparing the price of one stock with the price of another stock, and longitudinally, in the time direction, by comparing a company’s stock price today with its stock price yesterday. So, for instance, is IBM cheap relative to Sun Microsystems, or is IBM cheap today relative to IBM’s stock price yesterday? That seems like a theoretically interesting and still unsolved problem to me.

Google Prediction Market

Google hat einen internen Marktplatz für Vohersagen.

Academy of Neuroscience: IBM Almaden Institute Conference on Cognitive Computing

Sollte ich mal Zeit haben: IBM's Academy of Neuroscience, mit Videos.

Referenzen

Der Spiegel schreibt in "Uni-Karriere: Probier's mal mit 'ner Referenz!":
"In den USA gibt es kein Arbeitszeugnis", erklärt Bayen: "Da spielen Referenzen gerade zur Einschätzung von Nachwuchswissenschaftlern eine große Rolle." Wer einen Job an einer US-Hochschule sucht, sollte drei bis vier Referenzgeber im Rücken haben, rät Professorin Bayen.

Störungen

Neben Studien zu Störungen bei Alzheimer- und Demenzpatienten sowie von Menschen mit Hirnstörungen als Folge von Unfällen (siehe Oliver Sacks) sind Studien über Aspergersyndrom und Autismus die für mich interessantesten, um den menschlichen Geist verstehen zu lernen. Siehe den Eintrag von Simon Baron-Cohen. (Hat auch über Synästhesie geschrieben. Und ist Cousin von "Borat". Ha!)

Robert B. Laughlin - Autobiography

Robert Laughlin hielt heute einen Talk in der LMU, in dem er im wesentlichen sagte, dass man aufpassen sollte, weil neu entdeckte physikalische Gesetze in Wirklichkeit vielleicht emergentes Veralten wären. Er zeigte ungefähr 20 seiner Zeichnungen, sprach sehr langsam, und man hatte den Eindruck, dass er seit 10 Jahren, seit er den Physik-Nobelpreis erhielt, vor allem darüber spricht, wie es ist, den Nobelpreis zu bekommen. Bedauernswert, finde ich. V.a. weil er erst 48 war und daher vielleicht noch vierzig Jahre lang zu erzählen hat, wie es ist, den Nobelpreis zu bekommen. Immerhin sagte er auch, der beste Moment in seinem Leben wäre eigentlich nicht der Preis gewesen, sondern der Abend am Strand mit diesem Mädchen...

Jedenfalls schreibt er in einer Kurz-Autobiographie über seine Zeit bei Bell Labs: "I had no idea at the time of the significance of this placement, but I did notice during my job talk that everybody understood what I was saying immediately - this had never happened before - and that the audience had an irresistible urge to interrupt, heckle, and argue about the subject matter loudly among themselves during the talk so as to lob hand grenades into it, just like back-benchers do in the House of Commons. Being a combative person I rather liked this and lobbed a few grenades of my own to maintain control of my seminar. I later came to understand that this heckling was a sign of respect from these people, that the ability to handle it was a test of a person's worth, and that polite silence from them was an extremely bad sign, amounting to Pauli's famous criticism that the speaker was 'not even wrong.'"

How to prove it

Wikipedia listed 11 Wege, einen mathematischen Beweis zu führen. Dass dies nicht genug ist, zeigt diese Seite...

"Träumen für Deutschland"

Aus Wolfgang Blau und Alysa Selene, "German Dream, Träumen für Deutschland", ein Interview mit Craig Venter.
Frage: Wie so viele europäische Länder verfügt auch Deutschland nicht über genügend Spitzenwissenschaftler und Ingenieure. Deutschland hat auch nur mäßigen Erfolg beim Versuch, ausländische Spitzenwissenschaftlerinnen und -wissenschaftler nach Deutschland zu locken.

Venter: In meinem Leben gibt es nichts Aufregenderes oder Belohnenderes als die Fähigkeit, eine Entdeckung zu machen und zu wissen, dass du damit der Erste bist und dass du der Menschheit neue Erkenntnisse verschaffst und damit vielleicht sogar das Leben eines großen Teils der Menschheit beeinflusst. Das ist etwas, das eigentlich nicht gelehrt werden kann. Und trotzdem ist es das Aufregendste, was ein Mensch überhaupt nur tun kann. Und dass wir hier in den USA so viel Erfolg und Innovation haben, liegt, glaube ich, auch daran, dass es hier so viele verschiedene Wege gibt, ans Ziel zu kommen. Ich halte es für sehr unwahrscheinlich, dass ich auch als Europäer ein erfolgreicher Wissenschaftler geworden wäre. Mein Lebensweg war sehr ungewöhnlich. Ich war akademisch nicht sehr begabt, oder zumindest wollte ich nicht allzu viel Zeit investieren. Aus mir ist erst sehr spät ein Wissenschaftler geworden. Meine Karriere zeigt, dass es nie zu spät ist, etwas Neues zu probieren und sich dieser Sache dann hundertprozentig zu widmen. Aber: Die Gesellschaft, in der du lebst, muss das auch erlauben. Andernfalls suchen die Leute ihr Glück eben woanders.

Frage: Welche Bedeutung haben risikobereite Außenseiter für die Wissenschaft?

Venter: Werfen Sie nur einen Blick in die Geschichte der Wissenschaft, und Sie werden sehen, dass so gut wie jeder große wissenschaftliche Durchbruch Außenseitern zu verdanken war. Es gibt da für mich zwei Dinge, die wichtig sind. Ich habe gelernt, dass es Sinn macht, hundert Prozent meiner Energie in das zu investieren, was mir wichtig ist. Unsere Gesellschaft bringt uns das nicht bei. Das musst du dir selbst beibringen. Und oft lernst du das erst durch sehr unerfreuliche Erfahrungen, etwa einen Krieg, in dem dein Leben ständig bedroht wird. Zu lernen, Risiken einzugehen und mich hundertprozentig für die Dinge einzusetzen, an die ich glaube, war der Schlüssel meines Erfolges. Und zweitens sind Fortschritte jeglicher Art sehr oft Außenseitern zu verdanken. Das liegt daran, dass Außenseiter häufig neue Sichtweisen mitbringen und unbelastet sind von dieser langen Liste an Gründen, weshalb bestimmte Dinge angeblich unmöglich sein sollen. Naive Fragen zu stellen ist eine der erfolgreichsten Methoden, um wirklich voranzukommen.

Frage: Und was ist Ihr optimistischster Traum für Deutschlands Zukunft?

Venter: Wir müssen unsere Gesellschaften von Grund auf erneuern. Es kann nicht sein, dass wir immer mehr Kohlenstoff aus dem Boden holen, sei es in Form von Kohle oder Erdöl, die beide im Lauf von Milliarden Jahren entstanden sind, und diese jetzt innerhalb weniger Jahrzehnte verbrennen und damit unsere Erdatmosphäre aufheizen. Wir müssen Lösungen für diese Probleme finden! Ich setze meine Hoffnung auf die jungen Unternehmerinnen und Unternehmer aus Deutschland, auf Deutschlands Intellektuelle, Ingenieure, Wissenschaftler und Philosophen, auf dieses Land mit seiner langen Geschichte großer Leistungen. Die demokratisch gewählten Regierungen denken immer nur bis zu den nächsten Wahlen voraus, was ja durchaus sein Gutes hat. Auch die großen börsennotierten Unternehmen denken immer nur bis zu ihrem nächsten Quartalsreport voraus. Was wir heute aber brauchen, sind Antworten auf Probleme, die andernfalls alle Gesellschaften auf dieser Erde verkrüppeln könnten. Ich hoffe wirklich, dass Deutschland in diesen Veränderungen eine Führungsrolle spielen wird.

Ich wurde in Österreich mal gefragt, was wohl geschehen würde, wenn die Evolution zum Stillstand käme. Ich habe geantwortet, dass jegliches Leben innerhalb relativ kurzer Zeit von diesem Planeten verschwinden würde. Evolution ist ein fortwährender Prozess. Selbst die tagtägliche Biologie kann ohne Evolution nicht stattfinden. Dasselbe gilt für unser eigenes Leben. Wir müssen uns ständig weiterentwickeln, verändern und anpassen. Es ist wichtig, dass Privatpersonen, Regierungen und Nationen diese Gesetzmäßigkeit verstehen. Deutschland und auch die USA müssen sich ständig verändern und anpassen, andernfalls werden sie unbedeutend und sterben aus.

Komplexität einfach

Hier ein kurzer Überblick über die O-Notation. Würde ich heute eine Kurs darüber halten, würde ich dieses Dokument verteilen.

Kognitions- und andere Bindestrich-Wissenschaften

Nach einer interessanten Diskussion mit einem frischgebackenen Psychologie-Doktoranden (der ebenso viel Psychologe ist wie ich Linguist), bin ich vorhin auf den Wikipedia-Artikel über Kognitionswissenschaften gestoßen.

Wie ich schon beim Durchlesen des Artikel erkenne, haben interdisziplinäre Programme immer ein großes Problem:
Sie neigen dazu, die Schnittmenge aus allen Disziplinen zu bilden und nicht die Vereinigungsmenge.

So sind zum Beispiel für einen Linguisten die Thesen von Chomsky und das Eliza-System von Weizenbaum die ältesten aller Hüte. Für Informatiker sind neuronale Netze auch nur eines von vielen Machine Learning Verfahren.

Alle im Artikel angesprochenen Felder zu verstehen mag vor 50 Jahren noch möglich gewesen sein. Heute jedoch muss man eben die Grammatik-Modelle kennen, die nach Chomsky kamen, und ebenso die neueren Erkenntnisse aus der Informatik, die ein nicht geringes mathematisches Grundverständnis voraussetzen. Geschweige denn Erkenntnisse aus der Psychologie, über die ich selbst nichts aussagen kann, etc. Man wird sich spezialisieren müssen.

Die interdisziplinären Wissenschaften neigen dazu, Abkömmlinge einer „reinen“ Wissenschaft zu sein. Und davon gibt es dann mehrere – eine „Bindestrich-Wissenschaft“ für jedes der Teilgebiete, die etwas einbringt. Bei der Kognitionswissenschaft handelt es sich also wohl im Selbstverständnis der Leute, die es betreiben, nicht um eine eigene Wissenschaft, sondern um einen Abkömmling der Psychologie, um den Teil der Psychologie, der sich mit der Funktionsweise des Gehirns beschäftigt. Der Abkömmling der Biologie zum selben Fach heißt dann eben die „Neuroscience“.

Diese Fächer neigen dann dazu, die Denkweisen und Techniken der „Hauptdisziplin“ beizubehalten und um einige Techniken der Bindestrich-Disziplin zu ergänzen. Insofern ergibt sich dann keine neue Wissenschaft, sondern eine alte mit Anbau. Vielleicht ist das typisch für eine junge Wissenschaft, und sie braucht ein paar Jahrzehnte, um sich zu emanzipieren und in der Taxonomie der Fächer einen eigenen Platz einzunehmen.

Die Computerlinguistik (CL) selbst ist schon ein Schnittstellenfach, nämlich an der Schnittstelle zwischen Linguistik und Informatik (und ist Teilgebiet der Linguistik – während das dazugehörige Teilgebiet der Informatik „Natural Language Processing“ heißt). Schon diese zwei Fächer zu verbinden ist unheimlich schwierig, weil hier Geisteswissenschaft und Ingenieurswissenschaft aufeinander prallen. Da kommen also Leute mit komplett unterschiedlichen Fähigkeiten, Techniken und Denkweisen zusammen.

Meiner Erfahrung nach führt das dann dazu, dass die Leute aneinander vorbeiarbeiten und es große Ressentiments gegen die „andere Seite“ gibt. Und das oft zurecht: Die Gefahr besteht eben, dass man Ergebnisse in der "Anhängsel-Wissenschaft" zu produzieren versucht, wo aber der Schreibende aufgrund seiner „falschen“ Ausbildung oder seiner „nicht passenden“ Hirnstruktur nicht die Kapazitäten hat, um wirkliche Neues zu erbringen.

Ein Informatiker-CLer neigt z.B. dazu, simplistische Sprachmodelle zu verwenden, deren Fehler einem Linguisten schon auf den ersten Blick offensichtlich sind. Und Linguisten-CLer schreiben mühsam Programme und publizieren große Aufsätze darüber, die einem Informatiker nur ein müdes Lächeln entlocken können. Ein Informatiker, hätte er die Arbeit selbst geschrieben, hätte also zu viel größeren Leistungen in der selben Zeit kommen können.

Zugegeben: Natürlich hat das Bilden einer interdisziplinären Wissenschaft seinen Sinn. Weil man eben in einem Fach nicht mehr weiter kommt, sucht man nach dem Funken, der überspringt.

Die Grenzen zu überwinden und pragmatisch zusammenzuarbeiten, das geht nur, wenn jeder Einzelne Anreize erhält, Teamziele über eigene Ziele zu stellen. Ich habe jetzt die Erfahrung gesammelt, dass das nur im Unternehmen oder privaten Forschungseinrichtungen funktioniert, nicht aber an der Universität. Übrigens auch in den USA, wie ich in dem Buch von Feibelman („A PhD is not enough“) entnehme.

Zur effizienten Organisation von Teamarbeit benötigt man Management, aber die Universität ist management-frei.

Ich konnte das genau beobachten: Auch an der Uni haben sich schon zwei Gruppen gebildet, die linguistisch motivierten und die informatisch orientierten. Diese hatten sich eigentlich nichts zu sagen und auch kein Interesse, voneinander zu lernen (Ausnahmen bestätigen wie immer die Regel). Meine eigenen Versuche, beide Welten näher zusammenzubringen, haben wenig gefruchtet. Es gab sowohl ein Interesse-, ein Anreiz- als auch ein ganz einfaches Verständnisproblem.

In meiner Firma wiederum sind die Leute aufeinander angewiesen, aber es war ein sehr großer Lernprozess: Am Anfang waren es sehr unterschiedliche Gruppen, eine dominantere und eine andere, die sich dominiert gefühlt hat, und es war ein mehrjähriger Anpassungsprozess nötig, in dem beide Seiten voneinander gelernt haben.

Am besten ist diese Interdisziplinarität daher wohl an privaten Forschungseinrichtungen aufgehoben. Vielleicht auch an staatlichen, wenn sie für die Lösung eines gemeinsamen Zieles eingerichtet wurden. Das beste Beispiel für mich sind dafür die Bell Labs in den 80er Jahren, bei denen die Firma Bell viel Geld in die Hand nahm, um nach neuen Geschäftsmodellen für die Zeit nach dem Telefonmonopol zu suchen. Für Bell selbst ist dabei wohl nicht übermäßig viel herausgekommen, für einzelne Teilnehmer eine ganze Zahl von Nobelpreisen.

A tip for your next talk

I wish we didn't have Powerpoint these days...

"Using permanent ink in preparing foils is a good idea. Water-soluble ink will ball up if you sneeze or spill your coffee on it before your talk. "Permanent" ink can easily be erased from an overhead foil using vodka, or any similar solvent."
(Prof. Peter J. Feibelman, 1993)

From Nand to Tetris in 12 steps

Shimon Schocken aus Israel hat in fünf Jahren Arbeit einen Kurs entwickelt, in dem Studenten innerhalb eines Semesters einen virtuellen Computer bauen - von der Hardware-Architektur über eine VM-Implementierung und Betriebssystem bis zum Tetris-Spiel. Spannend aus didaktischer Sicht - wie man so was in ein Semester reinbekommt.
Er sagt, er wäre 10 Jahre lang Dekan gewesen und hätte sich die Beschwerden über zu schwere Kurse angehört. Seiner Ansicht nach liegt der Hauptgrund dann daran, dass Aufgaben zu schlecht designed würden. Die Aufgaben sollten sehr sorgfältig geplant und auch unmissverständlich formuliert werden.