Guess language of text using ZIP (Python recipe) by Dirk Holtwick

ActiveState Code (http://code.activestate.com/recipes/355807/)

# -*- coding: Latin-1 -*-
import zlib

class Entropy:

    def __init__(self):
        self.entro = []

    def register(self, name, corpus):
        """
        register a text as corpus for a language or author.
        <name> may also be a function or whatever you need
        to handle the result.
        """
        corpus = str(corpus)
        ziplen = len(zlib.compress(corpus))
        self.entro.append((name, corpus, ziplen))

    def guess(self, part):
        """
        <part> is a text that will be compared with the registered
        corpora and the function will return what you defined as
        <name> in the registration process.
        """
        what = None
        diff = 0
        part = str(part)
        for name, corpus, ziplen in self.entro:
            nz = len(zlib.compress(corpus + part)) - ziplen
            # print name, nz, ziplen, nz-ziplen, (1.0 * (nz-ziplen)) / len(part)
            if diff==0 or nz<diff:
                what = name
            diff = nz
        return what


if __name__=="__main__":

    # Very basic example

    e = Entropy()

    # Create corpus

    e.register("english","""
    If you ever wrote a large shell script, you probably know this feeling:
    you'd love to add yet another feature, but it's already so slow, and so
    big, and so complicated; or the feature involves a system call or other
    function that is only accessible from C ...Usually the problem at hand
    isn't serious enough to warrant rewriting the script in C; perhaps the
    problem requires variable-length strings or other data types (like sorted
    lists of file names) that are easy in the shell but lots of work to
    implement in C, or perhaps you're not sufficiently familiar with C.
    """)

    e.register("deutsch","""
    Über spirito (http://www.spirito.de) Die spirito GmbH mit Sitz in Duisburg
    ist Dienstleister im Bereich maßgeschneiderte Programmierung für Internet
    und Intranet sowie Hersteller von
    Software für Content Management, Groupware, E-Learning und Online Shops.
    Unsere Philosophie Wenn Sie uns mit einem Projekt beauftragen, so sollen Sie
    dabei nicht nur ein «Gutes Gefühl» haben, Sie sollen sich wohlfühlen! Die
    Anwendung unserer Software soll Leichtigkeit vermitteln, Freude, Witz und
    Geist versprühen. Daher nennen wir uns «spirito», was im Italienischen
    soviel bedeutet wie Geist / Witz / Kreativität. Unsere Produkte haben wir
    nach italienischen Städten benannt, weil wir denken, dass das allein schon
    eine gewisse Leichtigkeit vermittelt. Diese Produkte liefern so manche
    Vorlage für die Ausgestaltung konkreter Projekte. Aufgrund der sehr hohen
    Flexibilität aller unserer Produkte fällt uns die punktgenaue Anpassung
    unserer Produkte an Ihre Wünsche besonders leicht. Schließlich sollen es
    auch diejenigen, die nachher damit arbeiten müssen besonders leicht haben.
    Die schweren und die langweiligen Dinge wollen wir so weit wie möglich der
    Software überlassen ...
    """)

    # Test some probes

    print "DEUTSCH", e.guess("""
    Laut Kundenaussagen ist XYZ unter Windows 95 A und B sowie unter Windows
    NT einsatzfähig. Leider kann von unserer Seite aus unter diesen
    Betriebssystemen kein umfassender Support gewährleistet werden.
    """)

    print "ENGLISH", e.guess("""
    Now that you are all excited about Python, you'll want to examine
    it in some more detail. Since the best way to learn a language is
    using it, you are invited here to do so.
    """)