Selection Troubles in Content Analysis

This is the latest installment in a blog forum on Content Analysis, as applied to the content of judicial opinions.

After Mark and I collected 125 examples of content analysis, we evaluated how well scholars used this technique over the years. As you might expect, authors of the studies have paid attention to the selection of judicial opinions for study. But we think authors are worried about the wrong selection problem: it is common to see discussions of selection bias, instead of more troublesome issues of selection replicability.

Many scholars over the years have discussed selection bias. They wonder if the published opinions they reviewed were typical of the entire pool of written judicial opinions; whether the chosen opinions were typical of judicial decisions more generally; whether the chosen opinions were typical of litigated cases; whether the chosen opinions were typical of underlying legal problems in the world. The connection gets weaker at every step, but you saw that one coming, right?

The proper inferences to draw from a collection of cases must account for these gaps. Still, the selection bias problem is actually smaller for judicial opinions than for many other texts to be studied through content analysis -- the number of relevant opinions is often small enough that the author can code the entire relevant universe.

A selection issue that get much less attention, however, is selection replicability. Most often, these content analysis projects describe the general search criteria that the authors used to identify cases, and just stop there. A smaller group specify the sources searched (e.g., West Decennial Digests for older projects, designated LEXIS/Westlaw databases for newer projects). A small number of projects list the actual Westlaw/LEXIS search terms used. A surprising number of the projects simply listed the cases that were included in the study.

All too often, the description of the case selection method was too sketchy to allow another researcher to replicate the same results. (A simple listing of the cases doesn't exactly do the job.) That basic building block of the scientific method -- replicability -- deserves more attention than the now well-known potential biases that flow from studying the world through a collection of judicial opinions.

It's a important shift in thinking that still hasn't percolated down very far into the legal academic ground.

Comments

[raivo pommer -eesti.]

raivo pommer-www.google.ee
[email protected]

OeNB Bank in WIEN

Durch die Brisanz der Affäre rund um die Immobilienfirma Meinl European Land (MEL, heute Atrium Real Estate) ist auch der Wirtschaftsprüfer Philip Göth wieder ins Zentrum des öffentlichen Interesses gerückt.

Göth sitzt im Aufsichtsgremium der Oesterreichischen Nationalbank (OeNB) – dem Generalrat – und hat Ende 2006 per Gutachten den börsegehandelten MEL-Papieren bescheinigt, "zur teilweisen Veranlagung von Mündelgeld" geeignet zu sein. Mittlerweile haben Anleger viel Geld mit dem verloren, was Göth als "MEL-Aktie" bezeichnete, obwohl es sich dabei um Zertifikate gehandelt hat. Konsumentenschützer werfen Meinl vor, zu Unrecht mit der Mündelsicherheit geworben zu haben.

Es könne nicht sein, dass Göth weiterhin als Generalrat der OeNB tätig sei, poltert SPÖ-Finanzsprecher Jan Krainer. Neben dem MEL-Gutachten stößt sich Krainer auch an Göths Rolle als Aufsichtsrat der Bank Medici – jenes Wiener Institutes, das Fonds des mutmaßlichen US-Milliardenbetrügers Bernard Madoff vertrieben hat.

[raivo pommer -eesti.]

raivo pommer-www.google.ee
[email protected]

DIE DEUTSCHE BANK

Die Deutsche Bank greift nach dem Verlustjahr 2008 bei ihrer Fondstochter DWS durch. Das Geldhaus tauscht vier Aufsichtsräte aus und streicht im deutschen Fondsgeschäft Dutzende Stellen. Zwei der neuen Aufseher seien Risikoexperten, sagte ein Sprecher der größten deutschen Fondsgesellschaft.

Den Vorsitz übernimmt künftig der Deutsche-Bank-Risikovorstand Hugo Bänziger. Er löst Kevin Parker ab, der im erweiterten Vorstand operativ für die gesamte Vermögensverwaltung der Deutschen Bank zuständig bleibt. Diese Sparte - zu der die DWS wesentlich beiträgt - hat im vergangenen Jahr eine halbe Milliarde Euro Verlust gemacht.

Auch die Fondspalette der DWS steht auf dem Prüfstand. Die Deutsche Bank hat 2008 - vornehmlich bei der DWS - bereits 25 in Deutschland zugelassene Fonds geschlossen und 18 weitere zusammengelegt. Seit Jahresbeginn kamen sechs Schließungen dazu. Einem Bericht der Financial Times Deutschland zufolge verwalten derzeit 76 Fonds der Deutsche-Bank-Töchter weniger als 100 Millionen Euro. Diese Marke gilt als Untergrenze für die Rentabilität eines Fonds.

[raivo pommer -eesti.]

Dominique Strauss-Kahn machte kein Geheimnis aus seiner Genugtuung über das Ergebnis des Weltfinanzgipfels in London: „Der IWF ist wieder da“, rief der geschäftsführende Direktor des Internationalen Währungsfonds (IWF) den Journalisten in der britischen Hauptstadt zu. Und er fügte hinzu: „Heute sehen Sie den Beweis dafür.“ Kurz zuvor hatten die Staats- und Regierungschefs der 20 führenden Industrie- und Schwellenländer (G 20) beschlossen, die Ressourcen, die dem IWF zur Krisenbewältigung zur Verfügung stehen, mittelfristig zu verdreifachen.

Über 750 Milliarden Dollar wird Strauss-Kahn bald verfügen können, um sie jenen Ländern aus dem Kreis der 185 Mitglieder der Institution zu leihen, die in den Sog einer Wirtschafts- und Finanzkrise geraten und Zahlungsengpässe überwinden müssen.

[raivo pommer -eesti.]

raivo pommer-www.google.ee
[email protected]

In New York hat der Hedgefonds-Manager Ezra Merkin Ärger mit der Justiz - weil er das Geld seiner Kunden allen Warnungen zum Trotz bei Madoff investierte.

Nicht nur der Milliardenbetrüger Bernard Madoff selbst muss sich vor Gericht verantworten: Im Skandal um das dubiose Schneeballsystem des 70-Jährigen hat die New Yorker Generalstaatsanwaltschaft nun den Hedge-Fonds-Manager Ezra Merkin angeklagt - weil dieser ohne Wissen seiner Kunden 2,4 Milliarden Dollar (1,8 Milliarden Euro) bei Madoff angelegt haben soll. Merkin habe zwar nichts von Madoffs gewaltigem Anlagebetrug gewusst, aber absichtlich alle Warnungen in Zusammenhang mit dessen riskanten Investitionen ignoriert, um riesige Honorare von seinen Kunden einzustreichen, sagte Generalstaatsanwalt Andrew Cuomo am Montag.

Der Klageschrift zufolge kassierten der frühere Chairman der General Motors-Finanzsparte GMAC und drei seiner Fonds - Ascot, Gabriel und Ariel - insgesamt 470 Millionen Dollar von Kunden ein, die nun zurückgezahlt werden sollen. Merkins Anwalt Andrew Levander nannte die Klage "überhastet und schlecht durchdacht" und kündigte Gegenschritte an.

[raivo pommer -eesti.]

raivo pommer-www.google.ee
[email protected]

COMMERZBANK in Jahre 2009

Die Regierung sei sich einig, „dass wir ganz sicher mit der EU-Kommission so schnell wie möglich eine Lösung finden werden, die zugänglich und zuträglich für die Zukunft der Commerzbank ist“, sagte der Sprecher des Bundesfinanzministeriums, Torsten Albig, am Montag in Berlin.

Der Bund half der Commerzbank Ende 2008 mit rund 8 Milliarden Euro und im Januar mit zehn Milliarden Euro, um die Übernahme der Dresdner Bank sowie weitere Belastungen abzusichern. Im Gegenzug wurde eine Staatsbeteiligung von 25 Prozent plus eine Aktie vereinbart.

Die europäischen Wettbewerbshüter prüfen die staatliche Hilfe, obwohl sie den deutschen Banken-Rettungsplan bereits gebilligt hatten. Nach früherer Einschätzung aus der EU-Kommission müssen die Staatshilfen für die Commerzbank "im Prinzip" nicht in Brüssel überprüft werden.
Vertrauensbildung ist "Schall und Rauch"

Am Wochenende hatte sich an den staatlichen Finanzspritzen für die Commerzbank ein offener Streit zwischen der Bundesregierung und der EU-Kommission entzündet. Im Kern wirft Berlin Brüssel vor, dass man einerseits zwar in der aktuellen Finanzkrise die Geldinstitute vor dem Kollaps bewahren will, sich andererseits aber bei der Prüfung von Hilfen im Einzelfall so viel Zeit lasse, dass das betroffene Institut am Ende doch in Gefahr gerät.

Die in der Öffentlichkeit "fast inflationär bemühte Kategorie der Vertrauensbildung" stelle sich damit "letztlich als Schall und Rauch heraus", rügte Bundesfinanzminister Peer Steinbrück am Samstag nach zweitägigen Beratungen der EU-Ressortchefs in Prag.

[raivo pommer -eesti.]

raivo pommer
[email protected]

OSTEUROPA BANKEN

Mit der Ukraine und Kasachstan haben jetzt die ersten unter Kapitalabzug und Abwertung der Landeswährung leidenden Länder in Osteuropa und Zentralasien Devisenkontrollen eingeführt. In der Ukraine müssen Banken die Landeswährung Griwna zu einem festgelegten Dollar-Kurs kaufen, der weit über dem Schwarzmarktpreis liegt. Die Zentralbank hat offenbar die Aufsichtsratsvorsitzenden der wichtigsten Banken einbestellt und gedroht, sie bei Verstößen persönlich haftbar zu machen.

Vom 23. April an sollen zudem neue Vorschriften gelten, die Banken zum Verkauf von Fremdwährungen gegen Griwna zwingen. In Kasachstan dürfen schon jetzt ausländische Ölgesellschaften nach Berichten der Agentur Bloomberg keine Gewinne mehr in ihre Stammländer zurückführen. Heimische Exportunternehmen würden gezwungen, Fremdwährungen in die Landeswährung Tenge zu tauschen, heißt es.

[raivo pommer -eesti.]

raivo pommer-www.google.ee
[email protected]

UBS BANK

Falls ein Kunde ein persönliches Gespräch wünscht, muss er in die Schweiz reisen. «Im grenzüberschreitenden Vermögensverwaltungsgeschäft sind Geschäftsreisen von Mitarbeitenden mit Kundenkontakt eingestellt», bestätigte UBS- Sprecherin Eveline Müller einen Bericht des «SonntagsBlick».

Die UBS führe eine umfassende Überprüfung der Richtlinien und Verhaltensregeln im Zusammenhang mit dem internationalen Vermögensverwaltungsgeschäft durch. Das könne Monate dauern. So lange bleibe der Reisestopp in Kraft.

Durch eine Untersuchung der Finma ausgelöst

Die Überprüfung sei durch eine Untersuchung der Finanzmarktaufsicht (Finma) ausgelöst worden. Die Finma habe die Bank angewiesen, «Rechts- und Reputationsrisiken» im Auge zu behalten. Die Massnahme werde die Zusammenarbeit mit den Kunden erschweren, teilte die UBS weiter mit.

Im April 2008 war der UBS-Topmanager Martin Liechti während einer Geschäftsreise im Flughafen von Miami festgenommen worden. Der damalige Chef des UBS-Vermögensverwaltungsgeschäfts in den USA durfte wegen der Steueraffäre der Grossbank das Land mehrere Monate nicht verlassen.

[raivo pommer -eesti.]

raivo pommer-www.google.ee
[email protected]

BONI-BEZÜGER

Die Entschädigungen für einen der Chefarchitekten des Sanierungsplans für die Finanzindustrie waren am späten Freitagabend publik geworden. Ein gut gewählter Zeitpunkt, will das Weisse Haus eine zu breite Berichterstattung verhindern.

Den grössten Teil seiner Entschädigungen vom letzten Jahr, nämlich 5,2 Millionen Dollar, bezog Summers vom Hedge-Funds D.E. Shaw, der mit einem verwalteten Vermögen von über 30 Milliarden zu den Grössten überhaupt gehört. Der Funds hatte ihn mit einen Pensum von 50 Prozent zu sich geholt, nachdem Summers wegen kontroverser Aussagen zur Karriere von Frauen sein Amt als Präsident der Harvard-Universität hatte aufgeben müssen. Dazu kamen Honorare von 2,7 Millionen Dollar, die der Ökonom für 40 Auftritte bei mehreren prominenten Finanzinstituten bezogen hatte. Von Goldman Sachs etwa, einem der Profiteure der Bankenrettung, erhielt Summers für zwei Reden 202'500 Dollar.

Keine Änderungen der Lobbybestimmungen

In normalen Zeiten würden solche Bezüge kaum zu reden geben. Angesichts der Regierungsintervention in der Finanzbranche und der anstehenden verschärften Regulierung ist die Rolle von Summers allerdings besonders heikel. «Dies ist ein namhaftes Beispiel dafür, wie verwickelt die Beziehungen geworden sind», sagt Julian Zelitzer, Politologe an der Princeton Universität. «Es ist nicht auszuschliessen, dass nicht doch eine griffige Reform möglich ist; aber ohne Änderung der Lobbybestimmungen werden wir stets solche Probleme antreffen.» Präsident Obama hatte zwar Beziehungen zu Lobbyisten im Weissen Haus untersagt; davon jedoch seine direkten Berater, die in der Privatwirtschaft tätig waren, ausgenommen. Ein Sprecher der Regierung erklärte, die namhaften Bezüge kurz vor dem Wechsel ins Weisse Haus seien angesichts des Rufs von Summers als führender Ökonom nicht überraschend.

[raivo pommer -eesti.]

Raivo Pommer-eesti.www.google.ee
[email protected]

Erste kleinere US-Banken geben Finanzhilfen zurück

Knapp ein halbes Jahr nach dem Start des US-Hilfsprogramms für die Finanzbranche haben vier kleinere Banken als erste Institute mit der Rückzahlung der Kapitalspritzen begonnen. Auch mehrere große Häuser wie die Bank of America, J.P. Morgan Chase und Goldman Sachs dringen auf eine möglichst rasche Rückgabe der Gelder.

Die Banken wollen den Staatseinfluss reduzieren und sich die künftig steigenden Zinsen für das Kapital sparen. Anzeichen einer breiteren Erholung der Branche sehen Experten in dem Schritt noch nicht. Die vier Regionalbanken, die am Dienstag mit der Erstattung begannen, zahlten nach eigenen Angaben zusammen insgesamt 338 Millionen Dollar (254 Mio Euro) zurück.