1-grams: Test vs. Authentic
(('Kate.',), 46)
(('Ohh.',), 40)
(('Maggie,',), 34)
(('Colette.',), 33)
(('Maggie',), 32)
(('Maggie.',), 30)
(('dr.jackson',), 27)
(('Kate,',), 26)
(('stewardess.',), 25)
(('Bridget?',), 23)
(('Dean,',), 21)
(('Ted,',), 19)
(('Clipper',), 17)
(('Kate',), 16)
(('Berlin.',), 14)
(('Colette,',), 14)
(('Juan',), 14)
(('Dean',), 13)
(('Kate?',), 12)
(('Aah!',), 11)
(('Amanda',), 11)
(('Amanda.',), 11)
(('Ich',), 11)
(('Niko,',), 11)
(('Richard,',), 11)
(('Richard.',), 11)
(('bin',), 11)
(('passenger',), 10)
(('sie.',), 10)
(('Am...',), 9)
(('Amanda,',), 9)
(('Cameron.',), 9)
(('Captain.',), 9)
(('Ginny.',), 9)
(('Kommen',), 9)
(("Laura's",), 9)
(('Lowrey,',), 9)
(('Ohh!',), 9)
(('clipper',), 9)
(('Anderson',), 8)
(('Colette',), 8)
(("II'm",), 8)
(('MI6',), 8)
(('Niko',), 8)
(('Trippe',), 8)
(('Vanderway.',), 8)
(('ein',), 8)
(('Captain,',), 7)
(('Colette?',), 7)
(('Dean!',), 7)


1-grams: Authentic vs. Test
(('Don.',), 191)
(('Don',), 186)
(('Don,',), 143)
(('Draper.',), 117)
(('Sterling',), 110)
(('Draper',), 106)
(('Peggy,',), 69)
(('Draper,',), 62)
(('Campbell.',), 57)
(('Don?',), 56)
(('Dr.',), 56)
(('Jesus.',), 55)
(('Peggy',), 53)
(('Joan.',), 52)
(('Peggy.',), 52)
(('Sally',), 52)
(('account.',), 51)
(('Campbell',), 49)
(('baby',), 49)
(('Betty.',), 46)
(('kids.',), 44)
(('Joan',), 41)
(('Well',), 41)
(('ad',), 41)
(('Megan',), 40)
(('Pete',), 39)
(('Jesus,',), 38)
(('bed.',), 38)
(("Don's",), 37)
(('Jimmy',), 37)
(('Send',), 37)
(('Mad',), 36)
(('Harry',), 35)
(('Sally,',), 35)
(('creative',), 35)
(('Betty',), 34)
(('Betty,',), 34)
(('Lane',), 34)
(('girl,',), 34)
(('Draper?',), 33)
(('Cooper.',), 32)
(('Donald',), 32)
(('children',), 32)
(('clients',), 32)
(('children.',), 31)
(('weekend.',), 31)
(('Duck',), 30)
(('agency.',), 30)
(('doing.',), 30)
(('mind?',), 30)


1-gram Ratios
Largest ratios:
(('Laura,',), 193.4935420051149)
(('Dean.',), 174.6161232729086)
(('captain',), 151.0193498576507)
(('Laura.',), 127.42257644239277)
(('Bridget',), 113.26451239323801)
(('captain.',), 113.26451239323801)
(('Pan',), 105.84838360558552)
(('stewardess',), 103.82580302713484)
(('Am.',), 96.74677100255745)
(('Laura?',), 75.50967492882535)
(('Bridget.',), 66.07096556272218)
(('II',), 66.07096556272218)
(('Captain',), 61.351610879670595)
(('mission.',), 61.351610879670595)
(('yeah.',), 56.632256196619004)
(('Monte',), 51.91290151356742)
(('Shoot',), 51.91290151356742)
(('flight.',), 51.91290151356742)
(('Ted.',), 47.193546830515835)
(('CIA',), 42.47419214746426)
(('Ryan.',), 42.47419214746426)
(('Teddy.',), 42.47419214746426)
(('cargo',), 42.47419214746426)
(('flight?',), 42.47419214746426)
(('passengers',), 42.47419214746426)
(('Bridget,',), 37.754837464412674)
(('How?',), 37.754837464412674)
(('Wait!',), 37.754837464412674)
(('You...',), 37.754837464412674)
(('Am,',), 33.03548278136109)
(('Teddy,',), 33.03548278136109)
(("can't...",), 33.03548278136109)
(('officer.',), 33.03548278136109)
(('spy',), 33.03548278136109)
(('Laura',), 31.462364553677226)
(('uh,',), 30.675805439835298)
(('Mm.',), 30.675805439835294)
(('Flight',), 28.316128098309502)
(('German',), 28.316128098309502)
(('Pardon',), 28.316128098309502)
(('Welcome.',), 28.316128098309502)
(('What...',), 28.316128098309502)
(('danger.',), 28.316128098309502)
(('fly.',), 28.316128098309502)
(('now...',), 28.316128098309502)
(('press',), 28.316128098309502)
(('Le',), 23.596773415257918)
(('Paris?',), 23.596773415257918)
(('Sam,',), 23.596773415257918)
(('di',), 23.596773415257918)
Sum: 2782.50904801

Smallest ratios:
(('sleep.',), 0.20082360353410994)
(('write',), 0.20082360353410994)
(('30',), 0.19663977846048267)
(('Goodbye.',), 0.19663977846048267)
(('Nixon',), 0.19663977846048267)
(('dog',), 0.19663977846048267)
(("Everything's",), 0.18877418732206336)
(('hire',), 0.18877418732206336)
(('office.',), 0.18877418732206336)
(('putting',), 0.18877418732206336)
(("should've",), 0.18877418732206336)
(('works.',), 0.18877418732206336)
(("would've",), 0.18877418732206336)
(('bigger',), 0.18151364165583017)
(('everybody.',), 0.18151364165583017)
(('kidding',), 0.18151364165583017)
(('terrible.',), 0.18151364165583017)
(('true.',), 0.18151364165583017)
(('news.',), 0.1780888559642107)
(('Whatever',), 0.17479091418709572)
(('important.',), 0.17479091418709572)
(("Doesn't",), 0.16854838153755658)
(('desk.',), 0.16854838153755658)
(('drinking',), 0.16854838153755658)
(('working.',), 0.16854838153755658)
(('end',), 0.16854838153755655)
(('office',), 0.16656545940182058)
(("How's",), 0.1627363683810891)
(('old.',), 0.1627363683810891)
(('Henry',), 0.15223724784037368)
(('was.',), 0.15223724784037368)
(('phone',), 0.14521091332466413)
(('People',), 0.14301074797126012)
(('TV',), 0.14301074797126012)
(('Now,',), 0.1388045495015172)
(('kids',), 0.1388045495015172)
(('today?',), 0.1388045495015172)
(('work.',), 0.13880454950151716)
(('allowed',), 0.12755012656896172)
(('alone',), 0.12755012656896172)
(('Christmas',), 0.12419354429083117)
(('eat',), 0.12100909443722009)
(('client',), 0.1179838670762896)
(('anyway.',), 0.11510621178174595)
(('care.',), 0.11510621178174595)
(('Lucky',), 0.10725806097844509)
(('sound',), 0.08427419076877829)
(('account',), 0.07491039179446958)
(('Cooper',), 0.04967741771633246)
(('So,',), 0.04103786680914421)
Sum: 7.77622684216


2-grams: Test vs. Authentic
(('and', 'corrected'), 26)
(('a', 'Pan'), 20)
(('on', 'Pan'), 14)
(('Ladies', 'and'), 13)
(('and', 'gentlemen,'), 13)
(('Am', 'stewardess'), 11)
(('the', 'Pan'), 11)
(('uh,', 'I'), 11)
(('of', 'Pan'), 9)
(('to', 'Pan'), 9)
(('at', 'Pan'), 8)
(('II', "don't"), 7)
(('Oh,', 'yeah.'), 6)
(("don't...", 'I'), 6)
(('first', 'officer.'), 6)
(('flying', 'Pan'), 6)
(('stewardess', 'can'), 6)
(('world', 'without'), 6)
(('yes', 'now.'), 6)
(('A', 'Pan'), 5)
(('Dean.', 'I'), 5)
(('II', "can't"), 5)
(('Laura,', 'I'), 5)
(('Oh,', 'yeah,'), 5)
(('Shoot', 'man.'), 5)
(('What...', 'what'), 5)
(('Yeah,', 'so'), 5)
(('a', 'sky'), 5)
(('and,', 'uh,'), 5)
(('can', 'travel'), 5)
(('for', 'flying'), 5)
(('horrible', 'person.'), 5)
(('in', 'sight.'), 5)
(('is', 'full'), 5)
(('man.', 'Shoot'), 5)
(('miss', 'Ryan.'), 5)
(('plane', 'full'), 5)
(('through', 'it,'), 5)
(('to', 'protect'), 5)
(('travel', 'all'), 5)
(('you,', 'uh,'), 5)
(('Am', 'flight'), 4)
(('Am', 'is'), 4)
(('Am.', 'I'), 4)
(('Happy', 'New'), 4)
(('Henry?', 'Henry?'), 4)
(('Hey!', 'Hey!'), 4)
(('I', "can't..."), 4)
(('Laura,', 'what'), 4)
(('Laura,', 'you'), 4)


2-grams: Authentic vs. Test
(('I', "Don't"), 60)
(('in', 'here.'), 54)
(('know', "it's"), 52)
(('in', 'here'), 42)
(('in', 'there.'), 41)
(('head', 'of'), 40)
(('the', 'end'), 40)
(('for', 'me'), 39)
(('that', 'way.'), 39)
(('My', 'father'), 36)
(('know', "you're"), 36)
(('end', 'of'), 35)
(("It's", 'okay.'), 33)
(('Stop', 'it.'), 33)
(('I', 'keep'), 32)
(('speak', 'with'), 32)
(('to', 'work.'), 32)
(('good', 'for'), 31)
(('the', 'office.'), 30)
(("I'm", 'very'), 29)
(('go', 'home.'), 29)
(('to', 'live'), 29)
(('him', 'in'), 28)
(('it', 'and'), 28)
(('not', 'true.'), 28)
(("That's", 'true.'), 27)
(('You', 'really'), 27)
(('is', 'this'), 27)
(('talking', 'about.'), 27)
(('the', 'phone'), 27)
(('And', "it's"), 26)
(('No,', 'of'), 26)
(('go', 'get'), 26)
(('my', 'office.'), 26)
(('my', 'wife'), 26)
(('and', "she's"), 25)
(("you're", 'talking'), 25)
(('your', 'mother'), 25)
(('forward', 'to'), 24)
(('have', 'this'), 24)
(('no', 'reason'), 24)
(('way', 'it'), 24)
(('work.', 'I'), 24)
(("don't", 'we'), 23)
(('how', 'are'), 23)
(('I', 'appreciate'), 22)
(('about', 'that?'), 22)
(('and', 'have'), 22)
(("don't", 'feel'), 22)
(('to', 'say?'), 22)


2-gram Ratios
Largest ratios:
(('Pan', 'Am'), 365.3603817201115)
(('Pan', 'Am.'), 90.23961235255764)
(('I,', 'uh,'), 39.61739078892775)
(('to', 'London.'), 39.61739078892775)
(('I', "don't..."), 35.21545847904689)
(('No.', 'No.'), 35.21545847904689)
(('Pan', 'Am,'), 30.81352616916603)
(('No.', 'Yes.'), 26.411593859285166)
(('You', 'saved'), 26.411593859285166)
(('all', 'around'), 26.411593859285166)
(('the', 'U.S.'), 24.210627704344734)
(('no,', 'no,'), 23.47697231936459)
(("I'm", 'guessing'), 22.009661549404303)
(('and', 'I...'), 22.009661549404303)
(('first', 'class'), 22.009661549404303)
(('in', 'danger.'), 22.009661549404303)
(('many', 'people'), 22.009661549404303)
(('no.', 'No,'), 22.009661549404303)
(('you', 'go,'), 22.009661549404303)
(('no,', 'no.'), 19.808695394463875)
(('the', 'plane.'), 19.808695394463875)
(('It', "isn't"), 17.607729239523444)
(('No.', 'No'), 17.607729239523444)
(('Oh.', 'Oh.'), 17.607729239523444)
(('Pardon', 'me.'), 17.607729239523444)
(('She', "wouldn't"), 17.607729239523444)
(('Tell', 'the'), 17.607729239523444)
(('Uh,', 'we'), 17.607729239523444)
(('Was', 'it'), 17.607729239523444)
(('You', 'would'), 17.607729239523444)
(("You're", 'asking'), 17.607729239523444)
(('a', 'flight'), 17.607729239523444)
(('a', 'medical'), 17.607729239523444)
(('a', 'stewardess'), 17.607729239523444)
(('an', 'excellent'), 17.607729239523444)
(('and...', 'and'), 17.607729239523444)
(("don't", 'suppose'), 17.607729239523444)
(('eye', 'for'), 17.607729239523444)
(('flight', 'to'), 17.607729239523444)
(('have', 'ever'), 17.607729239523444)
(('land', 'in'), 17.607729239523444)
(('my', 'life,'), 17.607729239523444)
(('take', 'off.'), 17.607729239523444)
(('truth', 'is,'), 17.607729239523444)
(('two', 'hours.'), 17.607729239523444)
(('us', 'out'), 17.607729239523444)
(('your', 'coat?'), 17.607729239523444)
(('your', 'seat.'), 17.607729239523444)
(('plan', 'on'), 15.406763084583014)
(('say', 'yes'), 15.406763084583014)
Sum: 1462.90883765

Smallest ratios:
(('it', 'has'), 0.17607729239523442)
(('it.', "That's"), 0.17607729239523442)
(('over', 'here.'), 0.17607729239523442)
(('that', 'in'), 0.17607729239523442)
(('think', 'this'), 0.17607729239523442)
(('this,', 'but'), 0.17607729239523442)
(('was', 'very'), 0.17607729239523442)
(('we', 'should'), 0.17607729239523442)
(('has', 'a'), 0.17376048591634977)
(('and', "it's"), 0.1726247964659161)
(('went', 'to'), 0.1726247964659161)
(("can't", 'even'), 0.16930508884157155)
(('fact', 'that'), 0.16930508884157155)
(('in.', 'I'), 0.16930508884157155)
(('of', 'course'), 0.16930508884157155)
(('want', 'it'), 0.16930508884157155)
(('about', 'that.'), 0.16303452999558743)
(('get', 'in'), 0.16303452999558743)
(('out', 'there.'), 0.16303452999558743)
(('thought', 'it'), 0.16303452999558743)
(('your', 'wife'), 0.16303452999558743)
(('I', "shouldn't"), 0.15721186821003075)
(('in', 'it.'), 0.15721186821003075)
(('to', 'sleep.'), 0.15721186821003075)
(('get', 'back'), 0.15179076930623658)
(('sorry', 'I'), 0.15179076930623658)
(('Nice', 'to'), 0.1467310769960287)
(('her', 'to'), 0.1467310769960287)
(('I', 'know,'), 0.1419978164477697)
(("It's", 'an'), 0.1419978164477697)
(('go', 'in'), 0.1419978164477697)
(('should', 'go'), 0.1419978164477697)
(('they', 'want'), 0.1419978164477697)
(('I', 'went'), 0.1375603846837769)
(('Is', 'he'), 0.1375603846837769)
(('My', 'mother'), 0.1375603846837769)
(('allowed', 'to'), 0.1375603846837769)
(('feel', 'like'), 0.1375603846837769)
(("It's", 'very'), 0.1333918881782079)
(('the', 'kids'), 0.1333918881782079)
(('there', 'and'), 0.12946859734943708)
(('my', 'father'), 0.12227589749669059)
(('put', 'it'), 0.12227589749669059)
(('the', 'phone.'), 0.11584032394423319)
(('what', "I'm"), 0.11584032394423319)
(("we're", 'going'), 0.11287005922771437)
(('to', 'look'), 0.10736420268002099)
(('you.', 'What'), 0.09170692312251794)
(('know', 'that.'), 0.06987194142668034)
(('talking', 'about'), 0.06772203553662863)
Sum: 7.37781679367