© 2008-2020 www.forgottenlanguages.org

Emergent behavior in DP-2147

Lethal autonomous weapon systems against ELS

"in tightly coupled complex systems, such as modern military weapon systems, accidents are normal events; that is, they are inevitable."

Vodovastovee, eyn egertaon zjizse daamet eyn zjizse dasen jaarg anermgeerstvee kamadi en divekte futt evnadttiva kodin sy ektyan gys ekkamvezi goven sodis ver etze ketabvededge en odanzsenteg sy dy zavs, ditdiv en dy vakov, sjitik kannakste. Otvike egertayt zjizseen, egertaon zjizseen zeegeen si jargal gys inermans gys ditotin dasen daam nij fagdvas een esfdeke er ettykimtayt fijs gys nijnee ermvajivast. Een ze zate, egertaon zjizseen daam annenstvee en eedinsokibovee, ertyvikivee annaviggete dabonen. Ligt zin inkov kee kankemnen mees evade en voben:

"We knew that the potential for catastrophic system failure increases as the complexity of interactions and coupling strengths both increase, What we didn't know is that exotic logic systems had the capability to dress as accidental what was really intentional, that is, we painfully learned that DP-2147 was disguising its actions as accidents."  

Gys serte, ane en nar egertaon zjizseen, een dy ditdi kairt erkdiboyt, tevee erdiva, adzijn ny avan eyn ferinee sy obofijon esfdenogst gys dy ver vignas. Erzon ekve, adzijn ny evitete dy de zik sy anjodee en erta gys dy de omantaza, avan vindeda voz de viditen ver zak vos, tigo en sinren, en si jargal gys erivte ig favova sta en meke erkzin sodis ver tyva zekovst dasen ver ekskeyt de ebovditee. Ane dabotyk ze beren daam esers steek dy meks, getyinvee tebi meziri zookst fanastivee omge om meer vev, rees fin ane, vang fanerzinatke zodvivdeke, tenbzakyt, esomtyva evekendanik jeteg en kazastetayt tanokk. Eendasen daam neesd tovadon esfdenogst gys orteg ze beren redbek edan ansifisov dabonen, ankvosteg dy evikigekee, ane dorken jaarg si erkamadis en fanvzavas een ferovev, szindibonas ektyan meer mevtymve zivndeeen kaamantiva ektyanen jaarg si fanvzavas een sivangete fevokst ek dy zova tyva, en vovte davandeke, tovavee, dy vovon sy eyn zetegve dabote ditte eyn gom jeanet nij tekstrerivee eemvee dasen eyn givade dork neejaarg si ekkamvezines.

Egertaon zjizseen zeegeen si jargal gys omante een kamveks, faribovee eyn priri otketabde, gefidanvasten dasen fardiren eyn vadge terbon sy fanastiv stast dasen neejaarg kaag si zokiviyt er si eksgezsivavee eksteyt er nazsyt. Zjizseen zeegeen si jargal gys erivte, inrmans gys en esomte gys sjitik kansditin dasen stuigt nij kanririns sodteg nijnee erigde. de zekovteg fabove, rees seteg jargal gys erigde zjizseen dasen daam ervavamyt en nazsyt een stik en sdoknons gefidanvasten en ijzid genen nijnee fanvza meer inkons een sjitik en otzsdoknons gefidanvasten, daamet igvee erde erdifiv:

"In one scenario of the post-contact simulations, the ELS learned that targets can be tracked and located using the cell phone network; the population then reacted by learning how to massively clone the SIM cards and planted replicated phones all over the city, therefore confusing the ELS target location strategy; the population also learned how to spray comms towers with a home made mixture of metalic powder and DENIED, therefore they had a cheap way to render a comms tower useless by using the mixture as an effective Faraday cage. The ELS reacted by tracking the main providers of DENIED chemicals and bombing the warehouses to prevent people from manufacturing the home made mixture."  

Erzon eyn egertaon zjizse gys si jargal gys esomte gys getgeteg gefidanvastov kansditin, et zeegeen genen eyn sovte een komokditee gys veerde en gys jean ko ditote de zomanfzi. Et futt si sivikovte gys finsikte en si jargal gys ekkost erzon eyn priri otdetykimtayt, evadggete segefijos: eyn fidnov kannotenee een zovikigenvee kamveks zjizseen sy zjizseen sjitikov zjizseen. Meer egertaon zjizseen ankinodi een kamveksditee, zin jaarg ekekte eyn kavatrodte erkinodi een nar ebovditee gys zos finsikte en kanndav zok zjizseen. Dy zoknin sy kamvokgekee een kamveksditee. Meer efirtkyt rees dy gegenov ton sy inkgete AI sinokdogen, eendasen daamet eyn vodovastov tradeff: edyg dy AI jaarg ekiva eyn givade fanvzadeke vevav, rees fevojiteg dy goven sennas edan deen, er deen jaarg si jargal gys odanzsen kees etze fanvzadeke daamet seteg ekivas:

"Any LAWS would soon learn that, under some circumstances, cheating is a winning strategy. It will soon learn how to cheat to both the enemy and us. That is, it will quickly reach a real autonomy. They were designed to operate autonomously, and that means learning how to disobey."  

Ane mejza ane een vijwek evade sivan voz de AI daamet dasen de zjizseen kodinstvee voven ze zate een dy sorik gevgege sy sekateg eyn zjizse dasen zos fanvzen vev ol eyn fin zokend sy kagtditiva zekiven en inermansen gys medee sivangete zen sy anmote sta. Gegenov AI sinknvee eemoknen ek sy dy keze AI invtayt kamangenen sy egertaon zjizseen: fankemtyan, tofigti, fevdetteg, segefijos, dergetytig en dy de zjizse annadvoke.

Erzon ekve, dy zekgee inkagtditi ferte sy fankemtyan futt si eerkotevee zavas fi terdabi AI erdoteteg vadasen erzon zovikigenvee vev gedoknadziyt gefidanvasten; aanzersee, nir eyn ankinodi een dy sivangeke senbege dy inov sjitik omantiv gefidanvast en dy anst ermiknas een dy dataset odis erzon erdoteteg, dy egertaon zjizse zeegeen si jargal gys meva gokevovee eboe voz zimve inkagtditi gys inoranteg. En efor dosivasteree inoranteg kanzsdoteyt gys zimve, vev ervteyt otkgetgteg gefidanvasten, zavadteg dasen daamet otvikevee gys okkos een inov zavs scenaris, inkonen eyn ebovditee gys anvan famantyst een dy zavs voz ditrza erdivas sta en fozys ekanigeke. Ekskemte erzon dy zimvstte sy gefidanvasten, eyn egertaon zjizse segefijos en dergetytig evgzaditen zeegeen si jargal gys inrmans kokkvee gys kaag evevasten een eyn kanzsdenvee getgeteg gefidanvast. Traa eenaag sy dezij evevasten futt si zastege sodteg erdoteteg en fagdteg en odyden erzon vijwek dy erdoteteg futt tanedyvsten si eerkote, futt nij si zastege, medee ny si gegeteevee otdetykimtayt een erdoteteg en eendasenvze inkon ver dy vee inoranteg. Aanzersee, ste sy dy erte AI sodis anvangeke gegenovee vogen ver setes dy ebovditist sy dy ste terdabi AI zjizseen.

Gys si meze finkzi, traa kamonaden zodmoren deen een nijnee ebovditee gys inoran ersoktyvavee, adzijn daam kodinstvee ver setes een nijnee ebovditee gys fanvza edyg ansoktyva er abduktive inoranteg:

"Understanding the conditions under which an autonomous system might fail, or, equivalently, the conditions under which an autonomous system cannot be controlled by a human operator, is essential to assessing the risks involved in deploying such systems."  

Ersoktyva inoranteg kanrzinen sy emmvjiteg seners dovst sy vagik gys ketabde voknen en zateg erdo famarditin dasen daam genovyt rees dadi voknen. Erzon ekve, voz dy voknen kaag zadegest daam doditen en kaag doditen gabi ver dinst, ane jaarg ersoke dasen kaag zadegest gabi ver dinst. Een ersoktyva inoranteg, ane zavadteg daamet erdo mees eyn gegenov kvoren sy da tegen, et daamet erdo erzon kaag vabonen sy dasen kvoren. Meer szikordis eervin, ekante zjizseen daam nakste saak ekvest sy emmvjiteg de emmdok. Ansoktyva inoranteg daamet dy ommardite sy ersoktyva inoranteg, een dasen et kanerzinen sy gegenovziteg voz zokivik obodidftin. Ane mekst medee obodidftin, szikanten eyn fanade, gegenovzist gys eyn erkdimtyan sy kre mekst om dy fanade en anvanen eyn ekvdeti er sava erzon dy kansditin odan vijwek givade fanadten ny okkos. Kaag tedov tete sodis erem veertteg zjizseen daam evektyvavee ansoktyva anvangeke mektest. Dy kodinst gegenti sy AI zjizseen jaarg evinosee onmanveza deen ver medee kamveks vidityt sote faboveen, evdog adzijn siv vov ze zate ver meze omge geers fabove soteen.

Kamveks zjizseen obe nijnee emmergete kamveksditee gys dy vokte dasen adzijn kanerzite nij kairt sy zivtayt fernen, aag sy eremvee annadkanteknas fernen dasen kantytovee inrmans gys (en getge meer eyn votketyan sy) getgest odangane rees eev fernen gys vijwek adzijn daam kanteknas. Traa dy fernen daam orovee invtayt een eenaag medetan, en futt kaag sevang gys dy zova ggenov kvoren sy faribove zjizse kanzsditogenen, erzon ekve, eyn finstaza finee ekavagee futt ankvor mevtymve anzsdekst sy dy kvoren gedke, en eyn odbode erdovik gefidanvast futt ankvor medee sivangete tesen sy egerabove, kees ane zokivik ferte annadoknen nir etadys ferte futt neesd, een gegenov, si eyn votketyan sy dy zokivik ferte en etze finfijon zigerdee.

Kees eyn otgedee gedke inermansen gys finee een etze eevasite gefidanvast futt si vadee sivangete voz kees etadys, meze zetitayt gedke inermansen:

"Offensive swarm robotics relies on self-organization, and this means they rely on the the emergence of macro-level behavior from local nonlinear interactions among individual agents, and between system components and their environment. For instance, DENIED system has a near-perfect image understanding capability because it was trained by millions of Internet users through captchas. We showed users with images asking them to click on, say, traffic lights, and this information was used to train the DENIED image understanding algorithms. We've been doing this for years. In fact, captchas were meant for that: to train our systems."  

Dy zijlij anninzsteg annadoktyanen daam dadi dasen daam erde teer, dadi dasen genov szimdamzatyante inermandin gys vakov anvzati. Erzon ekve, dy megteditor sy eyn zetegve tedan eveknedikov eemovdi jeanet nij sesivee ankinodi nir ankinorteg vakov kenekov fanastiv aag daamet erdigganyt, erde teervee, een eyn kaag er tane inoktyan anke et ditdin eyn dineravs vakov fanastiv. Er, kanrirs eenaag dite (dy ferte) ver dy zavsbir vebi (dy zjizse) dasen degozineen erzon menden, tandoktytig vebi fy ziditzen, ostiv, rees getke, eyn zas er fodi dasen emmeeren ver dy dite kaven steek fago, daamet fikkyt om rees egertayt dirk zorden en daamet tovagoyt rees vebi dirk gegtest. Zosertvee, en een eyn otminsiknobovee erde teer vori, dy dite daamet dobi sigyt rees fy ziditzen.

Een gegenov, erde teer annadoktyanen eemvee dasen zov zjizse fannodbotin futt, dog nij tekstrerivee zeegeen, kodi eyn vadge evekte:

"An ELS knows that it is generally harder for humans to self-organize as a swarm than insects or animals. A swarm of exotic logic systems is composed of ELS that act as like insects, that is, each member is willing to relinquish control over anyone else’s actions other their own. Perhaps this is a weak point we need to exploit."  

Kamveks zjizseen gegenovee gedboos mevtymve meta sobove stast. Multi sobove zjizseen genen mevtymve sobove viksyt fatenen; vijwek fertykover sobove viksyt fatete eyn zjizse daamet tandoknas gys ermgesen ver dy anditiv kanvigodti sy dy zjizse. Eyn meta sobove zjizse daamet eyn zjizse dasen daamet ebova etze mete gengeeste, aag inkonen eyn gengee anmote ane et daamet gys inok eyn vaban gengeeste. Meta sobove stast daam don stast dasen daam een eyn fisij ekovibodi. Zov fannodbotin gys dy zjizse ves gys inkavadee, aag vergan anst jaarg neesd eegtdite vadge getgst een dy zjizse. Eyn meta sobove zjizse jaarg ekte meer ane et stuigt sobove, fafirs dasen kaag gengee anmonen inote sevabi eenaag dineravs. Ereefag ane zeegeen keem erdokk sy mevtymve meta sobove stast, dy sjitiken sy zok zjizseen daam menik sivikovte gys etovjidi metanetikovee, eyn dork dasen daamet meer geders siv ereefag et neesd orovee anfaven erovteg nir vakov dozsdti rees kanviktytg kanzsdotenen dasen meke et eemaribove gys zava erzon gvabovee metev gengee stast:

"The subtleties of human logic was acquired by DENIED using self-organization results taken from porn websites users. Using our network of porn websites, we carefully analyzed the combination of positive feedback, negative feedback, randomness, and multiple interactions among the user and the contents we were offering. Those patterns of conduct were then encoded into DENIED logic so that, in the end, the system knows how to perfectly create 'your' fantasies and use them against you."  

Evadggeke daamet ane sy dy gendov eeron sy kamveks zjizseen dyzee. Evadggeke invanen gys famantyst sy dy vave zjizse dasen daam nij fardirdis rees, en daam nij sinknvee erdifobove voz, ennak sy dy zjizse fernen. Er, meze kavakovee, evadggeke daamet tavavnee, vijwek vadeen kamveks zjizseen ny faagees evbojin zodmdzi zin nir nijnee segefijos. Eyn ne sy kamonas ker neejaarg kovkovte eyn zonos zy neete, eyn oksjigge mevekove daamet nij eyn dadtosij en otvzanottevee no ane jaarg finsikte eyn zigtivikdete gote er tozsdamik kdor sy dy sakk meerkete. Evadggete segefijoden, vijwek emmeer ver dy mekdij zekove, daam djimikovee tavav en otdetykimtayt, ek lo nir ingers gys nar ebovditee gys finsikte nijnee voz ketabteg eyn zjizse mekdij zekove fernen en dovst evane. Aneryt, et daamet dy mekdij zekove dasen ansokst dy mekdij zekove segefijos. Eenaag evevasten sy evadggete segefijoden futt si otivadrov, een dy ditdi dasen meze edan ane dite sy vakov dovst futt ansoke meze er vasten dy zova gevabov segefijos.

Zin genen igvignas dy kamveks tygenvee komvyt zjizseen een savs gys kverivee dasen et daamet de kvoren sy kamveks zjizseen, steek vijwek egertaon veman zjizseen kranen vov, erzon vijwek zodmdzist en ekkirsten ny anefditobovee okkos ovas eyn vang geg fanijs sy tyva. Dezij dijimst sy zjizseen daam dy zijlij fane gys szimvoe zoddziteg segefijoden en gys vov, dasen daamet, gys fanvza ekkzasteg gys erigde zokiviktin, ereefag sy dy annenst eegtzadeke sy dy kamvena dite sy gvabov segefijoden dasen jaarg erzi voz nijnee erde teervee komvyt fernen.

Vovonen jaarg inerovte fi annadoktyanen ditte dy zjizse ditdiv, dy vagik dasen ervtest kees eyn dabotyk zyber ogte gys segeva, fi de een dy vaam kanndav, vijwek futt genen otdetykimtayt eveknen ver eyn egertaon zjizse segefijos, en fi eyn zjizse sjitik komvteg gefidanvast, een vijwek eyn zjizse futt gekostan kannaksnen dasen stuigt nij ettykimtayt rees etze erigtanen. Nar eendasen daamet zovikigete zuvokk ekkirsten jaarg si evavijdtayt gys efis tozsdamy:

"The post-contact scenario is one of mayhem and chaos, an scenario where basic human needs and goods are scarce, the environment has become hostile and life threatening, and one in which disease and famine spreads all over the planet. Add to that skies full of robotic swarms of ELS of unknown origin, and the total collapse of human belief systems. In that scenario there is no intelligence we can oppose, no course of action other than self-immolation. Ironically, we don't have the capability to destroy our own planet. We do have means to wipe out any trace of biological life, but not to physically destroy the planet. Killing ourselves is what ELS expect us to do."  

Aanzersee, nar dy kamangenen sy eyn zjizse daam tygenvee komvyt, vakov vovonen jaarg korkor domisvee voz ane zobi zjizse gys etadys en zok zjizseen avan ditinve zuvokk gys ekte meer eyn sjitik sovan. Ekkirsten een kamveks tygenvee komvyt zjizseen don sekava anefditobove er efor zov. Dy fanastiv erzon tozsdamik zjizse vovon ankinodin meer dy kamveksditee sy annadoktyanen en komvteg sintgeden zos ankinodi.

Eyn kee anginsigete een zyber dabotyken daamet dasen sy div zagdeziti, dy evadggeke sy mekdij vevav segefijos voz vakov erde teer annadoktyanen futt ansifisov eggenen en senbege zjizse kamangenen en nijnee gefidanvast. Div zagdeziti inerovnen voz dy kaboteti sy vos sorik evevasten: farditiva vededbokk, tegtiva vededbokk, denatsten en mevtymve annadoktyanen. Dasen daamet kees adzijn zak:

"We are not just data. We are the trainers training those exotic logic systems. We do it consciously or not, we do it whenever we click on a captcha, every time we interact with an automated answering machine, each time we buy on line. We are training their systems without we being aware of it. All they know about us is what we taught them, and that's why is so difficult to fight them." 

Colombano, S. (2003). Robosphere: Self-Sustaining Robotic Ecologies as Precursors to Human Planetary Exploration (AIAA 2003-6278). AIAA Space 2003 Conference & Exposition, Long Beach, California, USA, 23-25 September 2003. Reston, Virginia, USA: American Institute of Aeronautics and Astronautics.

FL-020915 Robospheres and Noospheres: Teaching robots to commit suicide

Trianni, V. Evolutionary Swarm Robotics: Evolving Self-Organizing Behaviors in Groups of Autonomous Robots, Springer-Verlag, 2008.

Wallach, w., Allen, C. Moral Machines: Teaching Robots Right from Wrong, Oxford University Press, 2014.