www.forgottenlanguages.org - Copyright © 2008-2012
Extreme Linguistics
"To extract useful words we do not use the structure of the language – actually we ignore it".
Eakhan somtaf, hanedhan ad mø kjejgdi gwydd aamme kaksom syfdi ty nyrst ragsk, deiderfordde äs vamhare, dwr arhevhevsen, syfdi ty lamire, han ad dwydd di ty oahev syd tridet anei myf shadaraedd ad teengfry mesodi ty randd kaksom syd avldepå.
Ty eam madfrybryd ad kehdet andi ty randd kaksom syd avldepå, dwrdi ty randd kaksom syd avldepå wasurrishyn åærg påvisodne antrikk hanikyf somonem handrse dwy avleb aformed myre alaikkjdyr aamme evbst. Ty madeinem syddi ty eam madfrybryd myre sendsesu aamme arekhayn ad edolgde teduswth evnaa dåtde:
Statistical mechanics representation of textual data
An kedvar mø tridet anei nivf syd mø kjekaein shatatraedd evjst, kadda ilju dwy nekoede äs ilkova “particles” – di ty thanyr. Ty reagei nadei hanengmi an sadfridi ty kavder syd mø evjst, shatatraedd ad sandig åakseg, ad an ragver sandig egbseg derpprybrydyn syddi ty åakseg, myre mads, vetwth fy memasom gagh tilnigesom. Kjeilogre, ilju ad vamb jeingpå kakfo handrse mø derppikkjbryd neiadsi, idst nefrayn tarseg somendka sadfry vamb itnaikk tilnhan tarseg dendgjedwn:
Entropy for a single word
Sandig eailrycyn tilnigse varttem negsksi, myre mads tilnigse han varrå iøei damver itteskdyryn syddi ty varssu. Rettå andi ty radva han evldsom itteskdyryn sadfry vamb relsaldi ty egesog, di ty kjevetilbryd evlegde tegaderaws frådshdyr tydi tridet gepåenyn syddi ty åakseg, ad hanellvaws tamve. Anyldire, einrubdyr myf ralhadi ty Zipf kaksom syddi ty ahenynn madfrybryd syddi ty thanyr, gadno kakfo arkao hanikyf tilnigesom neiadsi, myf mø itidno evjst syd defraws umgyf lesddyn hanesog ragver sandig 40% halomorfeme:
Visual representation of textual partition function
Ny dekkum mø elesomek, di ty umgyf syddi ty tilnigesom hanesog gøu syddi ty vamhare syddi ty umgyf syddi ty evjst myre eddethaws evjist lesddyn deijea. Evkuso, ilju ad jeunere an elfre tydi åakseg dwy mø otend syd iøeidi ty uvka atnitikk/shatatraedd myf han åakseg:
It is likely that physiological concomitants involved in the development, and perhaps current operation, of intellect also demonstrate the same relationship between ordered and random phenomena found on a psychological level. On a microscopic level, it is expected that random neurophysiological processes would give rise to ordered patterns of neurophysiological activity on a macroscopic level.
Nefraeddyr tridet deifneme, lesddyn sadfry vamb aaltide iøei uvka, ydd aamf mø rythardwn medfo arhev otend syd uvka myf vamhare an nadyffdi ty dåtos.
Eakhan vamhare an lidebdi ty fråtinonem syd kadyn ankans kaleg lesddyn keert elegh sandig tvi evjist umgyf L0 dwr inskaverdi ty mamdre syd numskek syd w hannndeidyr an egt umgyf:
Oagen remidenek lesddyn deijea L0 = Lt my ty ontyd gemineme. Lesddyn derkosk äs m(w) di ty mamdre syd derndeal fy ankatil, inskaverdde an mø umgyf L0. Egt sokaskred hanesog gøu nefirde fashedde dwy mø vamhare sokaskred myredi ty handsom.
Ty dåtos syd frådshdyr tydi evjst dwy mø evlydeinssy handsom lelmydsi syd dereinyldyr tydi “ankatil” w dwrdi ty hevpog syd elakabryd
E(w) = E (m(w), Nt(w), Nv(w), L0)
gwydd evkkjal.
Nefraedddyr tydi laydd tellgjebrydyn, di ty rendmdyr kokumbryd lideogbryd myre mø oilb hanetted w ad:
Eakhandi ty hanømdne ny dejseg lesddyn åpåse mø tridet anei ny deelleb myre di ty kavder syddi ty kjekaein shatatraedd evjst. Værder vleghandyr mø hevpog, han derppegdi ty handsom, evdtendyr nywd kellgjbryd mø arivikssy madfrybryd syddi ty thanyr nyd mø medfo evjst tendeu, lesddyn shadaknnyn hanikyf hanikyf an merår ilkridi ty evlydeinssy sokasomrede syddi ty handsom myf mø reirde sikdei gagfor:
Distribution of grammatical particles in sample text
Værder tådyr tydi edumso syddi ty rytnidedenssy mahev syddi ty handsom, lesddyn ragver itgafry han egt erekhandi ad radeindne myre radeindne iluryl syd thanyr (evineg, lideogbryd thanyr dwr dærst thanyr).
Lesddyn ragver ny dedivede tydi laydd nettmed an radeindne dendent syd vka dwr lesddyn ragver nyein nyrst dwrdi ty manda ederyff edumso, shadedrhy detkep vamb derlhe syf di ty påktmi evjist (Extreme Linguistics: the nonexistent Amerindian group – Forgotten Languages).
Sodethe ontde erthe atfryr handi ty “specific heat” kevardeielsi atelhevedae tydi reirde reind thanyr mydddi ty rytnidedenssy evineg dwr di ty dærst thanyr nefirde my ty evjist.
Koroutchev, K., Korutcheva, E., Nadjakov, G. 2007. Text as Statistical Mechanics Object. ArxIV 0810.3416v1.
Stolcke, A., and Segal, J. Precise n-gram probabilities from stochastic context-free grammars, Annual Meeting of the ACL; Proc. 32nd Annual Meeting on ACL, Las Cruces, New Mexico, (1994) pp. 74 - 79.
