Tag Archives: python

hacks

Last-minute door hack

Im Rahmen eines Großprojekts wird auf einige Türen und die Steuerbarkeit selbiger vergessen. Und schon sitzt man in einer großen Runde und diskutiert unter Zeit- und Kostendruck viele umständliche Lösungen. Was hier folgt, ist die wahrscheinlich größte Kosteneinsparung pro Zeiteinheit Softwareentwickler in der Geschichte des Häuslbauens – mein unvorstellbarer Kaffeekonsum bereits berücksichtigt… 

Man sollte meinen, eine Tür über einen Taster zu öffnen sei trivial. Doch was ist in einem Gebäude mit 1.500 Mitarbeitenden und 6.000 Türen schon trivial? Insbesondere wenn man nicht Türtaster auf jeden Schreibtisch stellen kann, und das Gebäude wenige Wochen vor Eröffnung ansich bereits fertig verkabelt sein sollte.

Elektriker öffnen Türen üblicherweise über potentialfreie Kontakte, also mit viel Kupfer zwischen Tastern und den Türen, aber eigentlich auch nur deswegen, weil die law of the instrument greift:

“if all you have is a hammer, everything looks like a nail”

Ich glaube, diesmal war dieses Gesetz auf meiner Seite, bzw. war ich eben in diesem Moment derjenige mit dem richtigen Hammer. Nailed it!

Türen via TCP/IP öffnen

Im Rahmen des Projekts rund um die elektronische Schließanlage haben wir uns eine Programmierschnittstelle (API) ausbedungen, welche unter anderem auch Türen öffnen soll. An einer Universität bestehen hierfür zahlreiche Anwendungsfälle, beispielsweise beim Öffnen von Lehrräumen während gebuchter Veranstaltungen. (An der “alten” WU habe ich das bereits mit einem heldenhaften reverse engineering des Kaba-Systems exos 9300 zustande gebracht. Aber damals gab’s diesen Blog noch nicht und ich hatte auch noch deutlich mehr Zeit zum Programmieren.)

Der richtige Client

Die Türöffnung via Klick auf einer Webseite auszulösen, drängt sich aus technischer Perspektive auf. Doch was ist mit Personen, die keinen  Rechner besitzen, oder gerade wieder mal auf das elendslange Einspielen diverser Windows Patches warten müssen? Eine Türöffnung sollte immerhin augenblicklich erfolgen.

Von einer vor der Tür stehenden Besucherin wird man angerufen, man ist also bereits am Telefon. Aus funktionaler Sicht liegt es folglich nahe, die Türöffnung auf dem Telefon zu bedienen. Cisco sei dank, gibt es für deren Call Manager eine umfangreiche Schnittstelle zur Steuerung des Telefons via XML.

ooo
Über XML eingespieltes Menü für mein Cisco Telefon.

Der Quellcode zur Darstellung des Menüs auf dem Foto:

<?xml version="1.0" encoding="utf-8"?>
<CiscoIPPhoneMenu>
  <Title>Bach Door Service</Title>
  <Prompt>Security FTW</Prompt>
  <MenuItem>
    <Name>IT Front Office</Name>
    <URL>https://bach.wu.ac.at/dd/playground/dooropener/open/1</URL>
  </MenuItem>
  <MenuItem>
    <Name>IT Back Office</Name>
    <URL>https://bach.wu.ac.at/dd/playground/dooropener/open/2</URL>
  </MenuItem>
</CiscoIPPhoneMenu>

gfg
Tür offen!

HTTP und Security

Sind alle Komponenten fertig, gilt es diese über HTTP zur Verfügung zu stellen. (Bevor noch jemand meckert: Telefone landen in einem eigenen VLAN – Türen gehen nur bei Anfragen aus dessen Adressbereich auf.)

e drfr fdw
Web-Interface zur Verwaltung von Telefonen, Türen, Personen und Organisationseinheiten. Die beiden letzteren werden automatisch aus SAP übernommen.
fdfdf
Bei Tastendruck am Telefon wird ein reverse lookup durchgeführt, der entsprechend zugeordnete Türen beim Telefon, bei der eingeloggten Benutzerin und deren Organisationseinheiten sucht. Zur Kontrolle gibt’s die Funktion auch im Web.

tltr;

Etwas Wagemut, acht Stunden Python-Hack und schon ist ein ganzes (Um-)Bauprojekt überflüssig.

politisches

Open Source: Python ZVT 700 cash register protocol

Vergangene Woche erreicht mich eine Mail, die mich über das Thema Softwarelizenz grübeln lässt:

Moin Mathias,

in Deinem Blog:

http://www.zieglergasse.at/blog/2012/hacks/terminal-update/

schreibst du, Ihr habt eine quelloffene python Bibliothek für ZVT 700 verwendet.

Ich habe ein wenig gegoogelt, jedoch keine gefunden…

Auch PIP hat nichts ausgespuckt.

Hast du einen Link für mich?

herzliche Grüße

[Name und Organisation bekannt]

Interessante Anfrage: Da gibt es scheinbar Interesse an Software, die im Rahmen meiner Tätigkeit an der WU entstanden ist. Obwohl mir mein Dienstvertrag – streng ausgelegt – die Verwertungsrechte an von mir geschriebener Software entzieht, wurde der angefragte Code gar nicht von mir selbst, sondern von Gabor, einem Externen in meinem Auftrag entwickelt. Und dieser wiederum hat den Code nicht explizit lizenziert, entwickelt aber im “Open Source”-Spirit.

Bevor dies hier eine juristische Abhandlung wird, will ich meinen Gedankengang darlegen:

  • Die WU als öffentlicher Auftraggeber finanziert sich zum Großteil über Steuergeld.
  • Steuergeld, welches etwa Softwareunternehmen mit hohen Lohnnebenkosten aufbringen müssen.
  • Während man hier intern enorm von Open Source Software profitiert, ist es de facto unmöglich, der Community etwas zurück zu geben. Freiwillige Spenden an Entwickler(teams) kann ich beispielsweise schlecht als notwendige Ausgabe meiner Kostenstelle deklarieren. (Ein womöglich überteuerter Wartungsvertrag an ein kommerzielles Unternehmen wäre natürlich “professionell” und außerdem gut planbar für die Finanzabteilung.)
  • Irgendwo sitzt also gerade ein Unternehmen und benötigt Code, der bereits mittels Steuergeld entstanden ist.
  • Wird dieser Code  außerhalb der WU eingesetzt, steigt die Wahrscheinlichkeit, dass er gewartet und bei künftigen Änderungen angepasst wird.
  • Damit sinken Kosten an der WU.
  • Die Sicherheit des Codes steigt durch Offenlegung ebenso. (Weil ja Lücken gefunden und aufgezeigt werden.)
  • Das Unternehmen wiederum profitiert mit verkürzter Entwicklungszeit. Doch hier ist kein Papierkrieg zum Abholen einer dubiosen Förderung notwendig, sondern es wird staatliche finanzierte Infrastruktur  verwendet.

Kurzum: Ich habe mich entschieden, das Paket unter der Gnu General Public Licence (GPL) zur Verfügung zu stellen, weil ich überzeugt bin, betriebswirtschaftlich und politisch das Richtige zu tun. Die GPL stellt sicher, dass selbst Derivate unserer ursprünglichen Arbeit quelloffen zur Verfügung gestellt werden müssen. Ungeachtet davon kann das Unternehmen natürlich Produkte bauen, vermarkten und damit Geld verdienen, was ja letztlich Ziel eines Unternehmens ist.

Code bei Github: https://github.com/mathiasfrey/ecrterm

hacks

Visualizations i love

In the making of our room booking software we’ve invested a huge amount of time in interactive visualizations. Enjoy!

fdg
Visualizing supply and demand during the semester’s planning phase (blogged).

 

fdg
Schedules of selected room and possible alternatives. This booking page can be controlled via text input as well as drag&drop – both at the same time interacting with each other!

 

qwer
Densely aggregated occupancy stats for each room per semester. (Thanks to mbostock’s calendar view)

Lessons learned

  • I will no longer chose colors by myself, since there’s a lot of psychology behind colors and our perception thereof. Try: colorbrewer, colorpicker
  • Thoughtfully design and then stick to your own APIs. Interacting with visualizations dangerously leads to a messy codebase since there are (too) many technologies involved.
  • Force users to use a modern browser.
hacks

Designing APIs that work

With something around 20 systems that need interconnection, building APIs might currently be my main task at work. The systems involved range from access control, digital signage, kiosk and wayfinding terminals, CO2-sensors, facility management, resource allocation, geo-information to payment for printing or catering. In the context of an awfully huge project virtually everything needs data from somewhere else with schedules being extremely tight and vendor-side flexibility sometimes not being present at all. This simply means interface hell.

So be prepared for some lessons learned from someone who’s already made every possible mistake by himself:

One of the first public interfaces I wrote was a course data export for a mobile app, then running on iOS. The app developer and I decided on JSON using a list for the various attributes (title, location, time, etc.) of every course record:

[
  ["09W", "1985", "Wirtschaft im rechtlichen Kontext ", "H. 3.33 (B)", "UZA 1", "19:00", "21:00", 
    [
      [5803, "Lastname M."],
      [9651, "Lastname2 D."]
    ], "course", "20091212"
  ], 
  ...
]

As a matter of fact my first call came with two design failures attached: a badly chosen data structure and an unnecessary invention of something that was widely available anyway.

Use key-value pairs

First, using a list was a bad idea since position mattered and extending the interface immediately became a challenge since we quickly had 3.000 client-side installations out in the field. When using key-value pairs you retain the possibility of extending the data structure.

[
  {"semester": "09W",
   "course_id": "1985",
   "title": "Wirtschaft im rechtlichen Kontext ",
   ...
   }
]

Use wide-spread formats

Second, I suffered from the NIH anti-pattern since there was a decent exchange format available anyway: iCalendar. With a rewrite to the latter format data became usable even outside our app. People started importing personalized course lists into their calendars of choice.

Add metadata

After some time I realized that my course export was not only useful in its intended context but also in many other places: on digital signage screens for example. The latter project needed metdata so I added a timestamp and nested the payload inside the top level data structure.  

{"last_update": "2013-03-17T13:19:18",
  "courses":
    [
      {"semester": "09W",
       "course_id": "1985",
       "title": "Wirtschaft im rechtlichen Kontext ",
       ...
       }
    ]
}

Serialize

With calls available for courses, organizations, employees, publications, rooms, etc. in different flavours – usually search(), list() and get() – the overall structure soon became messy. Especially inconsistent naming started to be a pain when programming the server backend: employees had a "first_name" as members of organizational units whereas the same people carried a "firstName" when they authored publications.

While the key-value approach was a fine idea on the public side of my API the backend urgently needed refurbishment. I steadily moved my code to a more object-oriented approach which meant that I used Employee() objects rather than simple data structures. Nevertheless the API’s output consists of simple data types – so the magic of turning objects into JSON strings is mainly done by a serialize() method which every class must have:

class Employee(object):
    """Main Employee class"""
    ...
    
    def serialize(self):
        return {
	    'tid': self.tid,
	    'first_name': self.first_name,
	    'last_name': self.last_name,
            ...
        }

Add options

With more and more applications using the calls the clients became more demanding. For our wayfinding kiosk application I was asked to add pagination and custom sorting to some of the calls. I decided to provide an API-wide feature.
The result should look like this while sorting, limit, offset, etc. can be passed as arguments to the call (as key-value pairs rather than positional arguments of course!):

{"last_update": "2013-03-17T13:19:18",
  "offset": 100,
  "limit": 25,
  "sorting": {
      "fields": ["semester", "title"],
      "reverse": false
  },
  "courses":
    [
      {"semester": "09W",
       "course_id": "1985",
       "title": "Wirtschaft im rechtlichen Kontext ",
       ...
       }
    ]
}

Instead of painfully implementing pagination and sorting in a hundred different places I wrote a decorator that enables the functionality in a single place. The available sorting parameters have to be passed to the decorator since they differ from call to call.
@search_option_factory(set(['semester', 'title']))
def search_courses(self, value):
    """A sophisticated course search"""
    ...
        
    return courses

The decorator itself looks a bit complicated since passing arguments to decorators is a bit tricky. You actually have to write a function that handles the input and returns a decorator. Thanks to stackoverflow it’s not that difficult after all.
    def search_option_factory(sorting_set):
        """A decorator factory that handles generic options for calls.
        
        sorting_set: set that defines sortable fields
        
        according to Robert's spec:
        
        paging-objekt (struct) mit folgenden keys verwenden:
        - offset (null/int)
        - limit (null/int)
        - order (null/string)
        - desc (null/false/true)        
        """
        def search_decorator(method):
            
            def wrapper(self, value, options):

                # call the method
                recs = method(self, value)

                # count the recs
                count = len(recs)

                ## parse the options
                if not options:
                    options = {}
                
                sorting = options.get('sorting')
                if sorting:            
                    reverse = False
                    if options.has_key('reverse'):
                        r = options['reverse']
                        assert(isinstance(r, bool))
                        reverse = r
                
                    assert isinstance(sorting, list)
                    assert set(sorting).issubset(sorting_set)
                
                    sortator = ','.join(['d.%s' % x for x in sorting])
                    recs = sorted(recs, key=lambda d: (eval(sortator)), reverse=reverse)
                      
                
                offset = options.get('offset')
                if offset:
                    assert isinstance(offset, int)
                    recs = recs[offset:]
            
            
                limit = options.get('limit')
                if limit:
                    assert isinstance(limit, int)
                    recs = recs[:limit]
                
                return {
                    'count': count,
                    'limit': limit,
                    'offset': offset,
                    'payload': recs,
                    'created_at': datetime.datetime.now().isoformat()
                }
            
            return wrapper
        return search_decorator

ideas

Web to speech

Eine Sache habe ich in den vergangenen drei Jahren verinnerlicht: Das Web und dessen Technologien sind unglaublich dominant, weil sie auf offenen Standards beruhen.

Folglich sind mobile Apps inzwischen oft nur noch Programme, die einen (verstümmelten) Browser öffnen. Auf unserem Selbstbedienungs-Terminal werden Webseiten eingebettet, anstatt dass wir User Interfaces in Qt oder sonstwo entwickelt hätten. Mein Fernseher rendert inzwischen HTML/CSS für sein Menü oder EPG.

Was soll man allerdings machen, wenn das User Interface natürliche Sprache (speech) ausgeben soll – etwas, was man mit JavaScript auch im Jahr 2012 nicht so richtig hinbekommt? Im konkreten Anwendungsfall, dem unten gezeigten Terminal, sollen diverse Informationen zur Orientierung von Personen sowohl für Blinde (Sprachausgabe), als auch Sehende (Klick/Touch) zur Verfügung stehen.

Meine Idee ist eine hybride Anwendung, bestehend aus zentralem Webserver, Browser und lokalem Webserver, der Sprache erzeugt. (Eine Architektur, die ich mir übrigens von der lokalen Bürgerkartenumgebung abgeschaut habe.)

rrthzert
Barrierefreies Leitsystem-Terminal auf Basis unseres Terminals, Codename Humpback. Für Blinde bzw. Personen mit Sehbehinderung soll Sprachausgabe vorhanden sein.

Ein offensichtlich langweiliger Samstagabend und ein paar Tassen Kaffee später läuft unter 127.0.0.1 ein Webserver, der das Kommando say aufruft, welches am Mac die Sprachausgabe regelt. Für Linux käme beispielsweise flite zum Einsatz. D.h. die Webseiten und der Content kommen von einem zentralen Webserver, soll allerdings Sprache ausgegeben werden, so postet die Webseite (mittels AJAX) auf den lokalen Server. Dieser hat Zugang zu Sprachsynthese und Audio. (Oder theroetisch jeder anderen Hardware, die man sich vorstellen will.)

Im konkreten Anwendungsfall könnte man sich nun etwas spielen und häufig verwendete Textbausteine professionell sprechen lassen. Nur dynamischer Content müsste dann von der Computerstimme gesprochen (synthetisiert) werden. Aber ein Proof-of concept ist’s allemal:

Wer auf einem Mac zuhause ist, sollte übrigens das hier in ein Terminal pasten – viel Spaß:

osascript -e 'say "Dum dum dum dum dum dum dum he he he ho ho ho fa lah lah lah lah lah lah fa lah full hoo hoo hoo" using "Cellos"'

hacks

Tetris 3D!

Vor kurzem habe ich über die Tetris-Maschine, einen Algorithmus zum Finden optimaler Raum-Zeit-Kombinationen in Reservierungssystemen, gebloggt. Diesmal ist die Aufgabe dieselbe, der Lösungsweg allerdings ein gänzlich anderer.

März oder Oktober – die WU plant – wie andere Universitäten ebenso – Lehrveranstaltungstermine des jeweils kommenden Semesters. Der Prozess gleicht dem Einräumen meines Kühlschranks nach dem Großeinkauf: Zuerst müssen große Veranstaltungen fixiert werden, kleinere müssen sich an die Gegebenheiten anpassen – also nehmen, was noch übrig ist. Mit zunehmender Fragmentierung durch Blockveranstaltungen oder Prüfungstermine wird es somit immer schwieriger, einen fixen Raum oder auch nur eine stabile Beginn- und Endzeit für Veranstaltungen zu finden. In diesem Fall kann eine Visualisierung der Belegung sinnvoll sein.

Doch wie soll man knapp 20.000 Veranstaltungen in 150 Räumen pro Semester übersichtlich darstellen?

Die Referenz

Anbei ein Screenshot vom aktuellen Buchungssystem: Wochentagsweise werden die Belegungen dargestellt – pro Raum gibt es eine derartige Auswertung. Die einzelnen Kürzel codieren die Veranstaltungen, ein Überblick über den gesamten Campus ist allerdings so nicht möglich.

Belegung eines Raums über ein ganzes Semester nach Wochentagen. ASCII-Art rules!

Der Re-Write

Trotz des geekigen Charmes der obigen ASCII-Darstellung lautete der Plan, die Belegungen interaktiv zu visualisieren. Typische Anwendungsfälle sind etwa:

  • “Ich benötige kommendes Semester einen 60er-Raum am Donnerstag Nachmittag.”
  • “Ich benötige in der ersten Semesterhälfte einen 30er-Raum am Montag und Mittwoch zur selben Beginnzeit.”
  • “Ich benötige für Termine 1, 2, 3, 4 und 5 einen Hörsaal.”

Die Idee: Die Belegung sollte Raum, Uhrzeit und Datum dreidimensional darstellen, also Datum über Datum legen. Mit semitransparenten Balken pro Belegungen könnte die Farbintensität somit die Dichte der Buchungen codieren. Durch Zu- und Wegschalten einzelner Tage, wäre es außerdem möglich, schnell in der Datenmenge zu navigieren.

Mock-up Dez. 2011: Meine ursprüngliche Idee, wie man dreidimensional durch die Buchungen am Campus blicken sollte.
Low-Fidelity Prototype auf Papier. Die Achsen für Uhrzeiten und Räume sind nun vertauscht, denn eine variable Anzahl an Räumen expandiert besser nach unten als nach rechts.

Nach einigen Spielereien mit absoluter Positionierung von <div>-Elementen im DOM fiel die Wahl doch recht schnell auf das weitaus effektivere d3.js. Diese Javascript-Library ermöglicht das Erstellen interaktiver SVG-Dokumente. Meine Hassliebe zu Javascript war jedenfalls überwunden, als das method chaining der Library endlich von den Fingern ins Gehirn übergegangen war:

function actually_draw(data) {

  d3.select("#bookings")
    .append("g")
      .attr("id", "day" + data.day)
    .selectAll("rect.booking")
    .data(data.bookings)
    .enter()
    .append("rect")
      .attr("class", "booking")
      .attr("width", function(d) {
        return linear_scale(time_to_float(d.end)) - linear_scale( time_to_float(d.start))
       })
      .attr("height", R_AXIS.incr - 2)
      .attr("x", function(d) { return linear_scale( time_to_float(d.start) ) } )
      .attr("y", function(d) { return  room_y(d.room)});  
}

Exzessives method chaining gepaart mit einigen wenig intuitiven Methoden wie .selectAll() (macht man, obwohl noch nichts vorhanden ist) oder .data(data).enter() (“steigt” hinein in die Daten). Ist man da mal durch, ist plötzlich alles möglich!

Endergebnis: Über 2000 Termine auf einer Seite visualisiert, interaktiv mit dem Kalender zu steuern. Echte Daten der WU im Sommersemester 2013.

Auch wenn der Screenshot noch nicht toll aussieht: Der Browser holt sich mehrere tausend Termine und rendert diese ohne Performance-Probleme bei jedem Klick im Kalender. Sourcecode und Live-Demo sind verfügbar unter:

http://www.zieglergasse.at/stuff/2012/bookingviz/view.html

 

hacks

Die DIY-Ökonomie

Bislang war im Blog entweder von IT-Hacks oder von politisch-ökonomischen Themen zu lesen. Diesmal wage ich während einer Reise durch Japan die Synthese meiner beiden Interessen mit der – katastrophal erfolglosen – Simulation eines künstlichen Wirtschaftssystems…

Doch alles der Reihe nach: Simulationen sind ein enorm spannender Bereich der Informatik. Im Grunde geht es dabei darum, Ergebnisse weniger anhand bekannter Algorithmen zu errechnen, sondern das Verhalten von Lösungsteilen zu modellieren, um sich später das Gesamtergebnis einfach anzusehen.

Mit solchen Simulationen lässt sich etwa die Kreiszahl Pi berechnen, man kann voraussagen, ob die Wasserqualität eines Badesees hält, oder aber man simuliert einen Verkehrsstau oder einen Gebäudebrand.

Bestückt mit Wirtschaftsstudium und – wichtiger – langjähriger Erfahrung als Bürgermeister von SimCity und zahlreichen Siedler-Inseln, oder einfach mangels naturwissenschaftlicher Expertise, lag die Aufgabenstellung in meinem Fall jedenfalls am Tisch: Die Simulation einer künstlichen Marktwirtschaft bestehend aus Produzenten, Konsumenten, Einwohnern, Arbeitgebern, Produkten, Preisen und Steuern.

Die Wirtschaftsmodelle der Wuselspiele haben mit freien Märkten nichts zu tun. Im Screenshot: Widelands, ein Open Source Siedler-Klon.

Software-Agenten statt homo oeconomicus

Den Wirtschaftswissenschaften wird oft vorgeworfen, an den homo oeconomicus, also das rein rationale Verhalten der Akteure zu glauben. Dass es diesen homo oeconomicus nicht gibt, erkennt man beispielsweise daran, dass Kinos trotz Breitbandanschlüssen noch nicht komplett leer stehen, oder dass mein Fitnesscenter einen gut frequentierten Aufzug besitzt.

Auch im Reisegepäck dabei: Kahnemann, Langsames Denken, schnelles Denken, 2011. Lesenswertes Buch über die Irrationalität der Menschen, Buch bei Amazon.

Wie auch immer, Wirtschaftsprognosen sind gerade auch deshalb so schwierig, weil das Verhalten vieler Akteure komplett unterschiedlich abläuft und die Interaktionen unüberschaubar komplex sind. Ohne das Problem verstehen zu wollen, kann man jedenfalls versuchen, das Problem mit Rechenleistung zu erschlagen.

Meine Annahme: Warum nicht eine Vielzahl künstlicher, unterschiedlich agierender Agenten erschaffen und sie anschließend Wirtschaft spielen lassen. Dabei könnten etwa Konsumenten vorkommen, die sich bis auf ein Maximum verschulden, andere würden eisern sparen. Manche Produzenten wären schneller mit Investitionen, andere vorsichtiger.

Meine auf der Flugzeugserviette entworfene Ökonomie sieht jedenfalls so aus:

              -------------
              Markt
              -------------
              - Jobangebote
              - Löhne
              -------------
                  |
  -----------     |   -----------
  Arbeitgeber  ---+->  Einwohner
  -----------         -----------
      |                    ^
      |                    |
      v                    |
  -----------         -----------
   Produzent   <--+--  Konsument
  -----------     |   -----------
                  |
               ------------
               Markt
               ------------
               - Produkte
               - Preise 
               - Steuern
               ------------

Nach einer schlaflosen Nacht zwischen Minsk und Vladivostok und einem weiteren High-Speed Hack im Shinkansen von Tokio nach Kyoto ist sie also fertig – meine künstliche Wirtschaft mit hundert Einwohnern und sieben produzierenden Firmen, gegossen in ein paar Python-Module und einen Volkswirtschaftssimulator, der über zehn Jahre hinweg Bevölkerungszahlen, BIP, Privat- und Firmenvermögen sowie Jobs und Arbeitslosenrate misst. Einwohner suchen sich Jobs, verdienen Geld und geben es nach Lust und Laune wieder aus.

Meine Volkswirtschaft in Python gegossen. Links die Vermögens- und Arbeitsmarktstatistiken meiner Modellwelt.

Klingt vielleicht beeindruckend, ist es aber nicht: Statt Antworten eröffnen sich volkswirtschaftliche Lücken.

Woher kommt eigentlich das Wachstum?

Meine modellhafte Volkswirtschaft kann zwar nicht alle hundert Einwohner ernähren, aber nach ein paar Monaten hat der Großteil der Leute einen Job gefunden. Die Arbeitslosenrate sinkt – auch dank der Verhungerten – auf Null und dann passiert… nichts. Die Firmen verdienen genau das Geld, das sie wiederum den Arbeitenden auszahlen. Das BIP stagniert, woher käme denn auch das Wachstum?

Zahlreiche ökonomische Theorien beruhen auf der Ansicht, Wachstum entstünde zwangsweise durch Ausbeutung von Ressourcen. Ganz egal, ob nun damit etwa die Natur (Physiokratie), Arbeiter (Marxismus), deren Kombination in Übersee (Globalisierungskritik) oder das Sparvermögen des Mittelstands (“Draghismus“) gemeint sind. Das Gegenstück zu den diversen Ausbeutungstheorien bildet Schumpeters Theorie der wirtschaftlichen Entwicklung. Diese besagt, dass Wachstum aus neuen Ideen entsteht, aus der Zerstörung des Alten und Erschaffung des Neuen.

Nun ja, im angesprochenen Programm sind alle Optionen für Wachstum absent: Die Bevölkerung arbeitet bereits unter Vollauslastung, es gibt keine unentdeckten Bodenschätze und disruptive Innovation ist irgendwie schwer zu simulieren…

Weitere Stunden später, in denen ich meine Liliput-Ökonomie weiter parametrisiert und einen etwas intelligenteren Marktmechanismus (Preise und Löhne) implementiert habe, gebe ich schließlich entnervt auf. Wirtschaft ist wohl nicht zu simulieren, denn die Komplexität ist nicht abbildbar. Während bei technischen Aufgabenstellung oft das Prinzip Divide and Conquer zum Erfolg führt, ist das hier nicht machbar: Entweder es ist alles berücksichtigt (Lohnverhandlungen, Preisbildung, Investitionen der Unternehmen, Kundenpräferenzen für deren Produkte, Steuern, Subventionen, Arbeitslosenunterstützung, Unternehmensgründung durch einstige Konsumenten, Währungen, Zinsen, Staaten, Banken, usw.) oder die Simulation bleibt ein netter Zeitvertreib – was es allerdings wirklich gewesen ist.

Was ich dennoch gelernt habe

  1. Am Schlimmsten sind die Sparer unter meinen Einwohnern: Denn deren Konsumverzicht häuft unproduktives Kapital an.
  2. Mein in der Folge chronischer Hungersnöte eingeführtes Grundeinkommen hat die Modellwirtschaft nachhaltig stabilisiert. Zum Teil finanziert sich mein Staat über die Umsatzsteuer, ebenso findet aber eine massive Umverteilung vom Staat in Richtung Unternehmen statt. Der Staat mach also in jeder Modellvariante Schulden, damit Arbeitslose von Produzenten kaufen können. Folglich werde ich Arbeitslosenunterstützung künftig auch als Subvention für die Wirtschaft begreifen.
  3. Ein Käufermarkt, wo sämtliche Grundbedürfnisse der Menschen vielfach befriedigt sind, und Geld über massives Marketing nicht-lebensnotwendiger Produkte gemacht wird, wäre wohl gar nicht mehr zu simulieren.
  4. Im Urlaub sollte man keinen Notebook dabei haben.
hacks

Writing emails to a website

Unix’ beauty lies in the fact that you can easily build powerful systems out of simple components. This post describes an email-to-database interface for one of our web applications using Python and some Unix tools.

Users came up with the urgent need to annotate database records with arbitrary content. Rather than bending our application into a document management system (which apparently it is not) I came up with the idea to offer an email-to-website service.

Or as my friend Florian put it: “With a few billion users, email is quite a succesful social network.”

Mailing to a script

In order to write mails to a program rather than a conventional mailbox you need to edit the file /etc/aliases .

booking:        |/opt/wu-wien/roomsmta/bin/booking.sh

Here I’m sending the mail to an address called booking. Every incoming mail invokes the shell script booking.sh.

If you want to forward your mail to other locations simply add mailboxes or addresses after a comma. Don’t forget to run newaliases after the file is saved.

 Shell wrapper

#!/bin/sh

PYTHON_EGG_CACHE=/opt/wu-wien/roomsmta/cache
export PYTHON_EGG_CACHE

exec /opt/wu-wien/roomsmta/bin/booking.py

The incoming mail is passed to a shell script which sets some environment variables needed for virtualenv. The Unix command exec passes standard input on to the Python script. The result will be a custom Python interpreter set up with its very own environment.

The Python script

My script reads the email from STDIN, does some parsing magic and eventually puts the content into a database. (For reasons of clarity I have omitted the latter part in my example.) Since my mail configuration saves the mail in a proper mailbox as well I do not store attachments in the database. If you’re interested in parsing attachments I recommend Ian Lewis’ post.

#!/opt/wu-wien/roomsmta/v_mtapy/bin/python
import email.FeedParser
from email.utils import parseaddr

import sys, os
import base64
import re

import cx_Oracle

def parse_email(email_input):
    """Return message object"""
    
    parser = email.FeedParser.FeedParser()
    msg = None
    for msg_line in email_input:
       msg = parser.feed(msg_line)
    msg = parser.close()
    
    return msg


class Email(object):
    
    
    def __init__(self, msg):
        
        self.msg = msg

        self.subject = msg['Subject']
        self.date = msg['Date']
        (self.from_name, self.from_email) = parseaddr(msg['From'])
        
        self.to_email = parseaddr(msg['To'])
        
        self.has_attachments = 0
        
        msgbody = []


        for part in msg.walk():
            
            if part.get_content_type() == 'text/plain':
                
                if part['Content-Transfer-Encoding'] == 'base64':
                    body = unicode(base64.b64decode(part.get_payload()), part.get_content_charset(), 'replace' )
                
                else:
                    
                    try:
                        body = unicode(part.get_payload(), part.get_content_charset(), 'replace')
                    except TypeError:
                        # if no charset is given
                        body = unicode(part.get_payload())
                msgbody.append(body)
                
            elif part.get_content_type() == 'text/html':
                
                html = unicode(part.get_payload(), part.get_content_charset(), 'replace')
                raw = nltk.clean_html(html)          

                msgbody.append(raw)
                #print raw.encode('utf8', 'replace')

            elif part.get("Content-Disposition"):
                #print part.get("Content-Disposition")

                self.has_attachments = 1
                msgbody.append(u'ATTACHMENT: %s' % (part.get_filename(),))

        self.body = u'\n'.join(msgbody)
    
    def save(self):
        
        print 'GOING on to save'


if __name__ == '__main__':
    
    
    email_input = sys.stdin.readlines()
    msg = parse_email(email_input)
    
    Email(msg).save()

Testing the setup

Testing your code turns out to be a nightmare since you will need a mail client to invoke your script. Fortunately Unix comes with pipes which mock the email behavior:

less my_test_mail.eml | ./booking.py

Addressing records in the database

Did you know that you can have plus signs in a valid mail address?

Until now we have written all our email to booking@servername. But what you need in an application context is the possibility to clearly  attribute incoming email to specific database records. I have seen some solutions carrying the magic in the subject field, but I prefer RFC2822‘s possibility to write content after a plus sign into the address field. In my case this will either be the record’s id and the database instance in use (i.e. test or production).

        tocc = '%s %s' % (self.msg['To'], self.msg['Cc'])

        # has formats:
        #   booking+1234T@localhost
        #   booking+1234P@localhost
        #
        m = re.search('booking\+\d+[PT]', tocc)
        
        try:
            
            tocc = m.group(0)

            instance = tocc[-1:] 
            tid = tocc[:-1].replace('booking+','')
            
            return (instance, tid)
        
        except AttributeError:
            raise NoEventFound

Voilá, I can write mails to booking+1234T@servername.

Mail’s in the database – mission accomplished.

Thanks to Roland and Willi who did the tricky work;-)

hacks

Die Tetris-Maschine

Der innerste Kern meiner Tätigkeit als Softwareentwickler ist die Erschaffung von Algorithmen. Dass das deutlich spannender sein kann als es klingt, will ich anhand eines aktuellen Projekts zeigen.

Beginnen wir mit einer Aufgabe: Gegeben ist die dargestellte Auslastung von vier Hörsälen. Es soll nun eine weitere Veranstaltung zwischen 13:00 und 14:00 (blau markiert) gebucht werden – welcher Raum ist nicht nur verfügbar, sondern auch optimal passend?

In welchem Raum soll der gewünschte Termin (13:00 bis 14:00) untergebracht werden?

Als Algorithmen werden in der Informatik Handlungsanweisungen zur Lösung eines Problems verstanden. Algorithmen können so etwa als Kochrezepte für Computerprogramme verstanden werden. Sie berechnen Manager-Boni, kümmern sich bei Word um die Rechtschreibkorrektur, twittern Aktienkurse oder – wie in meinem Fall – verhelfen der WU künftig zu einer optimierten Ausnutzung der Ressource Raum.

Algorithmisches Denken ist die Umkehrung von Schul-Mathematik. Beim Programmieren ist die Lösung bekannt, aber es gilt den Weg dorthin zu entdecken.

Das Teaching Center am Campus WU: Stählerner Schauplatz für Raumbuchungs-Tetris im XXL-Format. Mathias, 2012.

Jedenfalls: Bei unserem Re-Write der Raumverwaltung für den Campus WU sind wir mit einigen, höchst spannenden Anforderungen konfrontiert: Raumbuchungen sollen künftig automatisch und optimal durchgeführt werden, den Administratoren bleibt allerdings jedwede Flexibilität erhalten. Die Software kümmert sich dabei um Studien- wie Stundenpläne, um Verfügbarkeit der Lehrenden und “Extrawürschteln” ebenso, wie um Minimierung von Buchungslücken oder Reduktion unnötigen Reinigungsaufwands aufgrund zu vieler, “angepatzter” Hörsäle. Die Ressourcen sollen flexibel verfügbar sein (Stichwort dynamische Lagerhaltung), ein allzu häufiger Ortswechsel macht Studierende wie Lehrende aber wohl kaum glücklich.

Wir benötigen daher wieder einmal den “Do what I want“-Button:

       +-----------------+
       |                 |
       | DO WHAT I WANT  |
       |                 |
       +-----------------+
Button, der in jeder Software genau 
das tut, was der User will. 
(Grobkonzept)

Von der Idee zum Algorithmus

Die Aufgabenstellung lautet demnach:

  • Liefere für eine Serie von Terminen (z.B.: ein ganzes Semester) Buchungsvorschläge
  • innerhalb der angefragten Raumkategorie,
  • versuche dabei die gewünschten Zeiten zu erfüllen,
  • d.h. immer dieselbe Beginnzeit zu ermöglichen,
  • vermeide außerdem Raumwechsel,
  • aber vermeide noch viel mehr den Wechsel von Gebäuden.
  • Beachte, dass Buchungen nahtlos aufeinanderfolgen sollten.
  • Entstehen dennoch Lücken, so sind z.B.: 30 Minuten sehr schlecht, weil dieser Zeitraum sicher verloren ist,
  • 90 Minuten hingegen sind gar nicht so schlimm, weil ja noch etwas reinpassen könnte.
  • Bereits “angepatzte” Räume sind leeren vorzuziehen, weil dadurch der Reinigungsaufwand verkleinert wird.
ggg
Geistreiche Bilder vom Entstehungsprozess des Algorithmus. (…)

 

Die Grenzen der Berechenbarkeit

Ein naiver Lösungsansatz wäre nun, alle Möglichkeiten zu versuchen und die beste zu wählen. (Tatsächlich funktionieren viele Algorithmen nach diesem Prinzip.) In diesem Fall bekommen wir aber ein Problem mit der Dimension der Aufgabe:

Will etwa jemand an acht Montagen irgendwann zwischen 9:00 und 12:00 eine zweistündige Lehrveranstaltung abhalten, so ergeben sich (zu) viele Buchungsmöglichkeiten. Entlang eines 15-minütigen Rasters erhalten wir zunächst fünf mögliche Beginnzeiten (9:00, 9:15, 9:30, 9:45, 10:00). Diese fünf Beginnzeiten über rund 50 gleichwertige Seminarräume an acht Montagen ergeben acht mal fünf mal 50 – also zweitausend – Einzelmöglichkeiten. Die Berechnung der Kombinationsmöglichkeiten ergibt 15 Quintillionen [sic – 250hoch8 – eine 15 mit 18 Nullen]!

Wir reden allerdings nicht nur von einer Veranstaltung, sondern von knapp 4000 jährlich mit rund 35000 Einzelterminen – Tendenz Dank erweiterter Buchungsmöglichkeit für Mitarbeiter und Studierende stark steigend. Selbst wenn ein leistungsfähiger Rechner eine Milliarde Kombinationen pro Sekunde ausprobieren würde, wäre die erste Raumbuchung erst nach knapp 500 Jahren fertig…

Tetris

Glücklicherweise gibt es Tetris! Ähnlich wie bei den von oben fallenden Steinen kommen auch die Buchungswünsche Schritt für Schritt herein. Jede Buchung muss auf die jeweils aktuelle Belegung Rücksicht nehmen, kümmert sich aber nicht um das, was noch kommt. Genauso wie bei Tetris ist es auch bei Raumbuchungen sinnvoll, Lücken bestmöglich zu füllen, oder doch für passgenaue Steine in naher Zukunft frei zu halten.

Tetris-Klon von Nintendo: Dr. Mario. Aufgrund unseres akademischen Kontexts an der WU die wohl bessere Analogie.

Die Matrix

Tetris-Analogie hin oder her, noch besteht das Problem der zu vielen Lösungen. Manchmal hilft es, die Aufgabenstellung in kleine Teile zu trennen, das Problem zu abstrahieren, sich typische Situationen aber vor allem auch Grenzfälle (corner cases) zu überlegen.

Eine Terminserie zu unterschiedlichen Beginnzeiten, in Gebäuden und darin enthaltenen Räumen entspricht einer vierdimensionalen Matrix, so einer Art Excel-Tabelle, wo in jeder Zelle nochmal eine Tabelle enthalten ist. (Keine Sorge, so etwas kann auch ich mir nicht wirklich vorstellen.)

Die Einträge in dieser Matrix sind jedenfalls:

  • pro Termin
  • pro Beginnzeit
  • pro Gebäude
  • jede verfügbare Raumnummer
  • mit Bewertung der Passgenauigkeit

Die Passgenauigkeit beträgt 1, wenn der Raum einfach frei ist, 0 wenn er gebucht ist. Sollte ein Termin nahtlos reinpassen, erhöht sich der Wert über 1, bleiben Lücken, so bekommt der Raum Strafabzüge. Die Datenstruktur sieht früher oder später so aus:

{Termin1: {'12:00': {Gebaeude1: {Raum1: 0.47250000000000003, Raum2: 1.6}}},
 Termin2: {'12:00': {Gebaeude2: {Raum5: 1},
               Gebaeude1: {Raum1: 1,
                           Raum2: 1,
                           Raum3: 1,
                           Raum4: 1}}},
 Termin3: {'12:00': {Gebaeude1: {Raum1: 2, Raum2: 2}}},
 Termin4: {'12:00': {Gebaeude2: {Raum5: 1},
               Gebaeude1: {Raum1: 2,
                           Raum2: 2,
                           Raum3: 1,
                           Raum4: 1}}},
 Termin5: {'12:00': {Gebaeude2: {Raum5: 1},
               Gebaeude1: {Raum1: 0.45,
                           Raum2: 0.3375,
                           Raum3: 1,
                           Raum4: 1}}},
 Termin6: {'12:00': {Gebaeude1: {Raum2: 0.45, Raum3: 1, Raum4: 1}}},
 Termin7: {'12:00': {Gebaeude2: {Raum5: 1},
               Gebaeude1: {Raum1: 1, Raum3: 1, Raum4: 1}}}}

Die optimale Buchung

Die beste Lösung findet man nun nicht durch stumpfsinniges Ausprobieren, sondern durch geschicktes Durchschreiten der Datenstruktur. Der Lösungsweg lautet:

FÜR jede Terminanfrage    
  FÜR jede Beginnzeit gereiht nach Häufigkeit terminunabhängig
    FÜR jedes Gebäude gereiht nach Häufigkeit in Beginnzeit
       FÜR jeden Raum gereiht nach Passgenauigkeit in Beginnzeit
         VERSUCHE zu buchen
         ODER gehe weiter

Die Lösung der eingangs gestellten Aufgabe lautet übrigens “Raum B”. Oder wenn Sie zufällig ein Algorithmus sind:

{1: {'12:00': {123456789: {66778801: 0.47250000000000003, 66778802: 1.6}}}}

Übrigens: Geschafft in 0.7 Sekunden anstatt von 500 Jahren.

tltr;

Raumbuchen ist wie Tetris-Spielen; Excel kennt zum Glück keine Tabellen in Zellen.

hacks

Kiosk-Terminal mit schnellem Login

Dem so genannten Octopus habe ich mich an dieser Stelle bereits ausgiebig gewidmet. Der von uns als Buckelwal bezeichnete Kiosk-Terminal kam bislang zu kurz. Hier also ein schnelles Update.

Der Anwendungsfall ist nicht neu: Im öffentlichen Bereich der WU Wirtschaftsuniversität Wien sollen Kiosk-Terminals schnellen und unkomplizierten Zugang zu Informationen, also dem Internet, sichern. Seit mehr als zehn Jahren gibt es mit der so genannten ByteBar bereits eine Lösung. Inzwischen macht sie vielleicht optisch nicht mehr allzu viel her – auf Seiten der Zuverlässigkeit und Wartungsarmut läuft das System allerdings beeindruckend vor sich hin.

ByteBar WU Wirtschaftsuniversität Wien.

Als ich mir gegen Ende 2010 das erste Mal Gedanken machte, was man am Baulichen und Haptischen verbessern könnte, fiel mein Blick auf die Suchmaschine bei Ikea. Diese vereint in durchdachter Schlichtheit und Pragmatik Features wie Stabilität, Touchscreen und/oder Tastatur, Kosteneffizienz, Servicierungskonzept, Sicherheit und Raumausnutzung.

Bei Ikea wissen die Designer was sie tun: Optimale Raumausnutzung, Schutz gegen Wagerl-Kollisionen, Kosteneffizienz. Mathias, Ikea Wien Süd (2010)

Mit dem schwedischen role model im Gepäck beauftragte ich 2011 einen Kiosk-Hersteller mit der Anfertigung eines Prototypen. Aus Designgründen entschieden wir, die Hardware hinter der Oberfläche verschwinden zu lassen, unterschiedliche Arbeitsplatzhöhen sollten außerdem unser Bekenntnis zu mehr Barrierefreiheit verdeutlichen.

Rendering unseres Prototypen: Unterschiedliche Arbeitsplatzhöhen, viel Karma für Design-Götter.

Nach Liefer-Verzögerungen und einigen Tests wurde der Prototyp Februar 2012 an der WU aufgestellt. Die Software läuft nach wie vor noch nicht so, wie wir uns das am Ende vorstellen. Aber Sinn und Zweck eines Prototypen ist ja eben der vorzeitige Erkenntnisgewinn.

Steht seit Februar 2012 an der WU für öffentliche Tests.

Öffentliches Internet versus die Abwehr anonymer Surfer

Der Großteil des studentischen Feedbacks auf Facebook drehte sich schon bald um die Haptik der Tastatur. Ich ahnte bis dato jedenfalls nicht, wie viel Emotion im Tastatur-Thema liegen kann. Nach einer Abstimmung unter den Studierenden fiel die Wahl schließlich auf eine (hygienische) Metalltastatur mit Trackpad.

Ende Juni veröffentlichte ich das Abstimmungsergebnis auf Facebook. Gleich die allererste Reaktionen sollte das Thema Browser/Software nochmal komplett drehen:

“Viel wichtiger wäre es wenn das ZID es endlich mal schaffen würde das man auf der WU eigenen (!) Homepage endlich die Suchfunktion nutzen könnte! Ich habe dass schön mehrmals angeregt bin bis jetzt aber immer auf taube Ohren gestoßen.”

Studierender auf Facebook

An der ByteBar erhält man beim Aufruf WU-fremder Seiten eine Fehlermeldung: Der Zugriff auf externe Seiten wird nämlich verhindert, um Surfzeiten zu begrenzen und somit Wartezeiten für andere zu verkürzen. Diese Maßnahme erachte ich allerdings aus zwei Gründen für höchst fraglich:

  1. Im Zeitalter von Web 2.0, Cloud und whatever liegen nunmal sehr viele nützliche Dinge nicht innerhalb der WU. Spätestens bei der outgesourcten Suche über Google – wie oben mokiert – wird die Sache peinlich.
  2. Die Begrenzung des Internetzugangs war vor zwölf Jahren sicher sinnvoll. Doch ist sie das dank Breitband und Smartphones noch immer?

Mein Vorschlag, Internet einfach “aufzudrehen”, fand jedenfalls keine Mehrheit. Ich kann die Bedenken nachvollziehen, dass dadurch jeder Fremde an die WU surfen kommen könnte – unangenehm wird das jedenfalls bei strafbaren Aktionen im Netz… Kurzum: Ein Login-Mechanismus musste her.

Python + WebKit + Studierendenausweis

Gemeinsam mit unserem kongenialen Hightech-Partner La Gentz war schnell die Idee geboren, den Studierendenausweis alternativ zur mühsamen Username/Passwort-Authentisierung  zu verwenden. Eine Authentisierung soll innerhalb kürzester Zeit erfolgen – das simple Hinhalten der MIFARE-Karte erfüllt diese Anforderung perfekt.

Außerdem entschieden wir uns, einen WebKit-basierten Browser from scratch zu implementieren. Das erspart die mühvolle Arbeit, den Browser gegen noch so kreative Usereingriffe abzusichern. Ein Login-Widget liegt semi-transparent über den Inhalten des Browserfensters und fordert zum Hinhalten der Karte auf. Aktuell überprüfen wir das UI noch auf seine Usability.

Details zur technischen Umsetzung finden sich im La Gentz Blog.

Fehlermeldung im unauthentisierten Betrieb. Das semi-transparente Widget lädt zum Einloggen via Karte oder Username/Passwort ein.

Nach dem Login ist unbegrenztes Surfen möglich. Ein Countdown visualisiert die verbleibende Zeit im Falle von Inaktivität.

Siehe da: Nach dem Login darf ich unbegrenzt surfen. Danach kann ich mich abmelden oder werde nach 1:30 Inaktivität automatisch rausgeschmissen.

Mit Ubuntu ist ein Betriebssystem ohne Wintendo-Krankheiten gefunden, LDAP bzw. JSON-RPC dienen zur Authentisierung. Demnächst folgt noch der Netzwerk-Boot (ähnlich den Door Displays).

Somit ist Websurfen künftig zufriendenstellend möglich, und wir brauchen keine Angst vor Internet-absaugenden Massen zu haben;-)