Dane oryginału

ROBOTS: WHAT EVERYONE NEEDS TO KNOW, FIRST EDITION by Phil Husbands

Copyright ? Phil Husbands 2021

Title "Robots: what everyone needs to know" was originally published in English in 2021. This translation is published by arrangement with Oxford University Press. Wydawnictwo Naukowe PWN is solely responsible for this translation from the original work and Oxford University Press shall have no liability for any errors, omissions or inaccuracies or ambiguities in such translation or for any losses caused by reliance thereon.

Tytuł "Roboty. Co każdy wiedzieć powinien" ukazał się w oryginale w języku angielskim w 2021 roku. Niniejsze tłumaczenie zostało opublikowane w porozumieniu z Oxford University Press. Wydawnictwo Naukowe PWN jest całkowicie odpowiedzialne za tłumaczenie dzieła, a Oxford University Press nie odpowiada za żadne błędy, pominięcia, nieścisłości i niejednoznaczności w tłumaczeniu ani za żadne szkody spowodowane zawierzeniem niniejszemu tłumaczeniu.

Przekład Wojciech Fenrich na zlecenie WITKOM Witold Sikorski

Projekt okładki polskiego wydania INT-MEDIA Dawid Mazur

Ilustracja na okładce Mykola Holyutyak/Shutterstock

Wydawca Wioleta Szczygielska-Dybciak, Dorota Siudowska-Mieszkowska

Koordynator ds. redakcji Renata Ziółkowska

Redaktor Diana Halida

Korekta Bożena Hałuszczyńska

Koordynator produkcji Anna Bączkowska

Skład wersji elektronicznej na zlecenie Wydawnictwo Naukowe PWN S.A.: Michał Latusek

Książka, którą nabyłeś, jest dziełem twórcy i wydawcy. Prosimy, abyś przestrzegał praw, jakie im przysługują. Jej zawartość możesz udostępnić nieodpłatnie osobom bliskim lub osobiście znanym. Ale nie publikuj jej w internecie. Jeśli cytujesz jej fragmenty, nie zmieniaj ich treści i koniecznie zaznacz, czyje to dzieło. A kopiując jej część, rób to jedynie na użytek osobisty.

Szanujmy cudzą własność i prawo

Więcej na www.legalnakultura.pl

Polska Izba Książki

Copyright ? for the Polish edition by Wydawnictwo Naukowe PWN S.A.

Warszawa 2023

ISBN: 978-83-01-22927-6

eBook został przygotowany na podstawie wydania papierowego z 2023r. (Wydanie I)

Warszawa 2023

Wydawnictwo Naukowe PWN SA

02-460 Warszawa, ul. Gottlieba Daimlera 2

tel. 22 69 54 321, faks 22 69 54 288

infolinia 801 33 33 88

e-mail: pwn@pwn.com.pl, reklama@pwn.pl

www.pwn.pl

PRZEDMOWA

Od kilku lat w mediach obecny jest strumień przesadnych artykułów na temat grożącego nam pojawienia się superinteligentnych maszyn oraz historii o tym, jak większość miejsc pracy zniknie niedługo za sprawą robotów. Wiele z tych mitów jest podsycanych przez technicznych celebrytów (a niekiedy również naukowców), którzy nie dysponują ani bezpośrednią znajomością, ani zrozumieniem zagadnień sztucznej inteligencji (ang. artificial intelligence, w skrócie AI) i badań w dziedzinie robotyki. Ważne więc, by zdać poważny, zrównoważony i oparty na wiedzy raport o stanie współczesnej robotyki, o tym, skąd się wzięła i dokąd może podążyć w przyszłości. Głównym celem tej książki jest wyjaśnienie, co roboty tak naprawdę obecnie robią i co mogłyby robić w przyszłości.

Od przełomu tysiącleci toczy się cicha rewolucja. Miliony autonomicznych robotów mających pewien stopień inteligencji są dziś w użyciu w naszych domach, głównie pod postacią odkurzaczy. Samochody bez kierowcy - które nie są niczym innym, jak autonomicznymi robotami - zaczynają pojawiać się na naszych ulicach, podobnie jak boty odpowiadające za dostawy i bezpieczeństwo. W przemyśle i na uczelniach duży wysiłek wkłada się w opracowanie następnej generacji bardziej inteligentnych, autonomicznych robotów mobilnych. Nie dziwi, że maszyny te często przejawiają właściwości żywych istot i przyciągają sporo uwagi. Nadszedł czas, by dowiedzieć się o nich czegoś więcej. W jaki sposób działają? Czy stanowią zagrożenie, czy może bezprecedensową szansę?

Mimo że współczesne roboty nie są nawet w części tak inteligentne, jak zdaniem niektórych należy wierzyć, a niemal wszyscy poważni badacze zajmujący się sztuczną inteligencją i robotyką są przekonani, że droga do osiągnięcia istotnych postępów jest długa i kręta, nadal istnieją poważne etyczne kwestie, których źródłem jest współczesna technika. Jeszcze poważniejsze kwestie będą mieć swoje źródło w postępach, jakie dokonają się w nadchodzących latach. Wydaje się, że istnieje nieodparty pęd wiodący nas ku chwili, gdy roboty staną się mobilne, wszechobecne i powszechnie będą z nami współdzielić nasze środowisko. Chwila ta wiąże się jednak z ryzykiem. Nawet te maszyny, które są inteligentne w stopniu minimalnym, i te urządzenia, które są mniej inteligentne, niż twierdzą ich producenci, mogą stać się przyczyną poważnych problemów społecznych. Politycy zaczynają uświadamiać sobie fakt, który jest ważny dla zrozumienia tych ewentualności i przygotowania się do nich już teraz. Sprawy te budzą również ogromne zainteresowanie wśród ogółu. Stąd w niniejszej książce omówione zostaną niektóre z najważniejszych problemów etyki robotów wraz z szerszymi społeczno-politycznymi wyzwaniami, jakie może ze sobą nieść technika robotyczna. Kwestionuję zaś to, do jakiego stopnia obawy te różnią się od tych, którym w przeszłości dały asumpt inne formy techniki.

Robotyka ma - i zawsze miała - złożony, dwukierunkowy związek z kulturą popularną. Próbuję tę kwestię rozważyć w niniejszej książce i poświęcam cały rozdział jej bardziej szczegółowemu omówieniu.

Nie chodzi jednak jedynie o autonomiczne samochody i odkurzacze. Cały czas licznie pojawiają się inne interesujące, przydatne i pomysłowe zastosowania robotów. Próbuję przedstawić próbkę tych zastosowań, by oddać sprawiedliwość wrażeniu, że stają się one coraz różnorodniejsze. To, jak te osiągnięcia wpłyną na nasze życie, powinno w dużej mierze zależeć od nas. Stanie się tak jedynie o tyle, o ile wejdziemy w zrobotyzowaną przyszłość z szeroko otwartymi oczami i nie damy się oszukać obłudnym korporacjom oraz podejrzanym politykom.

1Roboty już tu są

O czym myślimy, myśląc o robotach?

Najczęściej spotykane wyobrażenie robota niewiele się zmieniło w ciągu ostatnich stu lat: jest to jakiś mechaniczny mężczyzna lub mechaniczna kobieta - humanoidalna maszyna zdolna do wykonywania wielu zadań, jakie my wykonujemy na co dzień, takich jak chodzenie, rozmawianie, podnoszenie i przesuwanie przedmiotów, a także tych, których większość z nas stara się unikać, jak sianie śmierci i zniszczenia na masową skalę. Nieco później zobaczymy, że obraz ten - a właściwie sam pomysł na roboty - pochodzi ze świata literatury i sztuki. Prawdą jest, że te mity i marzenia przesączyły się do zbiorowej świadomości i bez wątpienia wpłynęły w pewnym stopniu na badania naukowe na polu robotyki. Jednak w obecnej rzeczywistości - choć pełnej ogromnego zainteresowania - są one nieco mniej dramatyczne. Gdy te nieciekawe maszyny staną się powszechne, zaczniemy myśleć o robotach w zupełnie inny sposób.

Dlaczego roboty powinny nas obchodzić?

W niektórych gałęziach przemysłu roboty są wykorzystywane od ponad półwiecza, dlaczegóż więc miałyby zacząć nas nagle obchodzić? Dwudziestowieczne roboty przemysłowe - te, które można znaleźć przy taśmach produkcyjnych samochodów - działały w głównej mierze z dala od wścibskich oczu i choć wyrafinowane, były też zasadniczo nieinteligentne, dlatego nigdy nie wywołały większych debat. Od przełomu tysiącleci coraz wyraźniej daje się jednak zauważyć nowy typ robotów. Roboty okazujące przebłyski inteligencji bliskiej istotom żywym zaczęły pojawiać się w naszych domach (odkurzacze automatyczne) i na naszych ulicach (samochody bez kierowcy). Trwają też prace nad robotami służącymi do wszelkich innych zastosowań - niekiedy korzystnych, a niekiedy martwiących. To właśnie te mobilne, inteligentne roboty - będące u progu ich integracji z naszym codziennym życiem - wywołują obecnie ogromne zainteresowanie. Co już potrafią i do czego mogłyby stać się zdolne w przyszłości? Czy zmuszą nas do zmiany sposobów myślenia o technice i jej zastosowaniach? Czy zmienią w zasadniczy sposób to, jak żyjemy i jak wygląda nasza praca?

Spróbuję odpowiedzieć w tej książce na te i wiele innych pytań, ale w pierwszej kolejności chciałbym zaznaczyć, że nie chodzi o to, czy roboty nadejdą, ani o to, kiedy to się stanie. Roboty już tu są. Nie są jeszcze tak całkiem wszechobecne czy szczególnie inteligentne ani nie stanowią szczególnego zagrożenia. Jednak tak jak wcześniej komputery, Internet czy podłączone do sieci urządzenia mobilne techniki robotyczne - bazujące rzecz jasna na wymienionych technikach - wydają się rozwijać z takim impetem, że ich rozprzestrzenienie się jest nieuchronne. Na całym świecie rządowe i korporacyjne środki na badania i rozwój szerokim strumieniem płyną w kierunku sztucznej inteligencji i robotyki. To dlatego ważne jest, by w jakimś stopniu rozumieć, jak wygląda aktualny stan wiedzy dotyczącej tych maszyn, i myśleć o tym, w jaki sposób powinny być używane i uregulowane dziś i w przyszłości. Mobilne, fizyczne i autonomiczne urządzenia dzielące z nami nasze domowe i zawodowe życie mogą mieć potencjalnie znacznie większy wpływ na świat niż techniki będące ich poprzedniczkami. W przyszłości mogłyby być postrzegane jako największe osiągnięcie dwudziestopierwszowiecznych nauk stosowanych i stosowanej inżynierii lub jako narzędzia społecznej nierówności i ekonomicznego ucisku. Opracowywanie coraz lepszej techniki robotycznej może być nieuchronne, ale sposób, w jaki tej techniki używamy, już taki nie jest.

Miasta takie jak San Francisco odgrywają już rolę kopalnianego kanarka, jeśli chodzi o naukę życia wśród robotów i tworzenie uwzględniającego je prawa. Pod koniec 2017 roku Towarzystwo na rzecz Zapobiegania Okrucieństwu wobec Zwierząt w San Francisco (ang. San Francisco Society for the Prevention of Cruelty to Animals, w skrócie SFSPCA) wpłynęło na pojawienie się fali nagłówków po tym, jak zaatakowany został robot bezpieczeństwa wykorzystywany przez nie do patrolowania jego kampusu i okolicznych publicznych ścieżek[1]. SFSPCA umieściło robota, by zniechęcić bezdomnych mieszkających w pobliskich obozowiskach namiotowych, wśród których znajdowały się osoby podejrzewane o antyspołeczne zachowania. Robot był wyposażony w wielorakie sensory, w tym kamery wideo oraz systemy rozpoznawania twarzy. Pod wieloma względami była to mobilna jednostka służąca do inwigilacji. Ważący 180 kilogramów robot nie tylko irytował osoby bezdomne, które czuły się monitorowane i rejestrowane, ale też - o ironio! - zdenerwował kobietę wyprowadzającą swojego psa, ponieważ maszyna drażniła jej zwierzę, które dostrzegało w nim zagrożenie. W ciągu kilku dni od momentu, kiedy zaczął toczyć się po publicznych ścieżkach w ramach swoich patroli, urządzono na niego zasadzkę. Zarzucono na niego płachtę, przewrócono go, a jego sensory wysmarowano sosem barbecue. Takie roboty wystarczająco dobrze radziły sobie w zamkniętych, prywatnych przestrzeniach jak centra handlowe, kasyna czy parkingi. Ten i podobne incydenty sprawiły, że władze miejskie w USA i w innych krajach zaczęły pospiesznie opracowywać sposoby na uregulowanie wykorzystania robotów na terenach publicznych.

Ten incydent mówi nam dwie rzeczy. Po pierwsze, każdy, kto uważa, że wprowadzenie robotów na arenę publiczną będzie łatwe, niech lepiej to przemyśli. Po drugie, nietrudno jest obezwładnić większość robotów obecnej generacji.

W San Francisco szybko podjęto decyzję, że bez specjalnej zgody robotom bezpieczeństwa nie wolno działać na publicznych ulicach. Jednocześnie miasto kończyło prace nad przepisami, które pozwoliłyby miejscowym robotom dostawczym na poruszanie się po ścieżkach dla pieszych przynajmniej w czasie sześciomiesięcznego okresu próbnego[2]. Można by pomyśleć, że to zastosowanie będzie postrzegane jako w mniejszym stopniu stanowiące zagrożenie, ale niektórzy mieszkańcy byli zaniepokojeni tym, iż ścieżki zostaną zatarasowane przez autonomiczne wózki dostawcze, oraz poziomem bezpieczeństwa tej techniki, a co dopiero jej wpływem na miejsca pracy związane z dostawami. W miarę jak roboty będą się rozprzestrzeniać, rozprzestrzeniać się będą również takie zrozumiałe obawy. Ustanawianie roztropnych przepisów jest zadaniem naszych polityków i z tego powodu tak oni, jak i my wszyscy powinniśmy wiedzieć, w co się pakujemy. Przywykliśmy do maszyn, które kontrolujemy. Autonomiczne, mobilne, fizyczne urządzenia (maszyny kontrolujące się same) to inna historia - taka, z którą mamy jedynie niewielkie doświadczenia - musimy więc postępować ostrożnie.

Dlaczego roboty nas fascynują, a niekiedy wprawiają nas w popłoch?

Większość z nas interesuje się - przynajmniej w pewnym stopniu - najnowszymi, robiącymi wrażenie technikami. Niektóre typy robotów idą dalej.

Jesteśmy biologicznie zaprogramowani tak, by silnie reagować na inne autonomiczne stworzenia[3], szczególnie gdy się poruszają, ponieważ mogłyby reprezentować niebezpieczeństwo, pomoc lub schronienie. Nasza reakcja wyewoluowała w relacji do ludzi i zwierząt, ale nie dziwi to, że daje się ona uogólniać na sztuczne twory. Autonomiczne, mobilne roboty pobudzają nieświadome, pradawne instynkty, co po części wyjaśnia, dlaczego nas fascynują i dlaczego od ponad wieku są one głównym tropem dystopijnej literatury, a także dlaczego przerażające wiadomości o robotach zawsze zdobywają popularność w mediach.

W połowie lat 90. XX wieku, gdy bardzo rzadko można było dostrzec autonomiczne roboty poza laboratoriami badawczymi, zabrałem do domu całkiem sporych rozmiarów ośmionożnego robota kroczącego w drodze na międzynarodową konferencję, na której miał zostać zaprezentowany. Wraz z kilkorgiem doktorantów dokonywaliśmy ostatnich sprawdzianów i dopracowywaliśmy elementy oprogramowania sterującego. Nagle moje małe dzieciaki wraz ze swymi przyjaciółmi i kilkorgiem zabłąkanych dorosłych w drodze ze szkoły wtargnęły do pokoju. Wydawało się to idealną okazją do tego, by sprawdzić, jak robot poradzi sobie w zatłoczonym środowisku pełnym szybko przemieszczających się, hałaśliwych przeszkód. Jeden z doktorantów położył (jaskrawopurpurowe) stworzenie na podłodze i je włączył. Jego zadaniem było jak najefektywniejsze przemieszczanie się z wykorzystaniem własnych czujników, tak by uniknąć wpadnięcia na jakikolwiek obiekt. Niektóre z dzieci przezornie wycofały się i wybiegły z pokoju, inne usiadły na podłodze i podekscytowane próbowały wchodzić w interakcje z robotem, śmiejąc się w zachwycie, gdy ten oddalał się lub z dużą prędkością rzucał się do ucieczki w wolną przestrzeń. Większość dorosłych - prócz doktorantów - trzymała się na uboczu, a niektórzy z nich pobledli.

Gdyby robot wyglądał jak zdalnie sterowany zabawkowy samochód, prawdopodobnie nikt nie mrugnąłby okiem. Ale nie wyglądał. Jego korpus przypominał gigantyczne owady, a swoimi nogami poruszał w niesamowicie naturalny sposób. Sztuczny układ nerwowy, który dla niego stworzyliśmy, był silnie inspirowany neurofizjologią owadów, a jego zachowanie rozmyślnie zostało opracowane tak, by był tak realistyczny, jak to tylko możliwe. Co więcej, w pobliżu nie było nikogo, kto miałby w rękach panel sterujący. Za generowanie zachowania robota odpowiadał jego własny, pokładowy system nerwowy; po pstryknięciu włącznika radził sobie sam. Był autonomiczny. Wyglądało to tak, jak gdyby jakieś sztuczne zwierzę albo obcy gatunek maszerowały po podłodze dookoła salonu.

Te realistyczne właściwości przemówiły bezpośrednio do głębokich, zwierzęcych instynktów większości obecnych. Nie możemy nic na to poradzić, że silnie reagujemy na coś, co wydaje się żywe - czy to z fascynacją, czy z przerażeniem.

Podobne siły dochodzą do głosu, jeśli chodzi o humanoidalne roboty[4], choć mają one kilka potężnych warstw. Jako gatunek społeczny jesteśmy głęboko zainteresowani sami sobą i tymi, którzy są do nas podobni. Ponieważ w toku naszej ewolucyjnej historii inni ludzie najprawdopodobniej byli naszymi najbardziej przydatnymi sprzymierzeńcami, ale też znajdowali się wśród naszych najgroźniejszych wrogów, dysponujemy wieloma złożonymi, instynktownymi zachowaniami, które wychodzą na powierzchnię, gdy interagujemy z innymi ludźmi. Nie dziwi to, że często mamy naturalną skłonność do wchodzenia w interakcje z przyjaznymi, humanoidalnymi robotami[5], a odrzucają nas te stanowiące zagrożenie[6] - rzecz będąca odwiecznym motywem w science fiction. Jak zobaczymy później, pierwsza z tych skłonności może być bardzo przydatna w pewnych sytuacjach terapeutycznych lub edukacyjnych. Druga dojrzała już do tego, by wykorzystać ją w niecnych celach.

Co interesujące, istnieją dowody, że nasza empatyczna reakcja względem robotów przypominających człowieka jest najsilniejsza, gdy podobieństwo do rzeczywistych ludzi jest albo dość wysokie (ale dalekie od doskonałości), albo ekstremalnie wysokie (niemal doskonałe). Pomiędzy nimi istnieje obszar, który Masahiro Mori nazwał doliną niesamowitości: podobieństwo jest tu silne, ale nie doskonałe. Wielu z nas postrzega roboty z obszaru doliny niesamowitości jako do pewnego stopnia dziwne czy też budzące grozę: coś tu po prostu nie gra[7]. Mori porównał ten efekt do oglądania zwłok.

Warto pamiętać o tej pierwotnej reakcji, zgłębiając to, co roboty mogą, a czego nie mogą robić. Łatwo nabrać się na to, że robot jest znacznie mądrzejszy lub zdolniejszy niż naprawdę, ponieważ wygląda jak człowiek lub wydaje się zachowywać w szczególnie naturalny sposób.

Ile robotów istnieje?

Znacznie więcej, niż ludzie sądzą. Trudno jest podać dokładną liczbę, ale rozsądne szacunki określają, że w 2019 roku w regularnym użyciu było na świecie od 13 do 15 milionów robotów. Są one wykorzystywane w przemyśle i handlu, domach, szpitalach, szkołach i wielu innych miejscach.

Liczby rozkładają się następująco. Międzynarodowa Federacja Robotyki szacuje, że w 2019 roku w użyciu było 2,6 miliona robotów przemysłowych[8]. Są to stworzone do ciężkiej pracy maszyny - zwykle gigantyczne ramiona - które spawają, malują, podnoszą, przesuwają, składają itd. w różnych gałęziach wytwórstwa przemysłowego. Obecnie zdecydowanie największą populację robotów stanowią odkurzacze. Do roku 2018 światowy lider w tej dziedzinie, firma iRobot, sprzedał ponad 20 milionów robotów[9]. Nie wszystkie one nadal są w użyciu, a że istnieją też i inne firmy sprzedające dużą liczbę takich maszyn, ostrożne szacunki uwzględniające globalną sprzedaż w tym sektorze o wielkości 7 milionów robotów rocznie mogłyby opiewać na 10-12 milionów robotów odkurzających będących w użyciu. Różne źródła sugerują, że w użyciu jest prawdopodobnie pół miliona specjalistycznych robotów usługowych[10], a możliwe, że znacznie więcej. Obszar ten obejmuje roboty odpowiedzialne za zapewnienie bezpieczeństwa, roboty edukacyjne i pomagające w utrzymaniu domu, roboty teleobecności, roboty medyczne, saperskie, rolnicze, a także pojazdy autonomiczne. W tej płaszczyźnie oszacowanie liczby robotów jest najtrudniejsze, a jest to sektor, który w najbliższych latach prawdopodobnie doświadczy lawinowego wzrostu.

Jak można oczekiwać, wykorzystanie robotów różni się w zależności od kraju. Korea Południowa, Japonia i Niemcy mają jedne z najwyższych współczynników zagęszczenia robotów w rodzimych gałęziach przemysłu wytwórczego, podczas gdy Wielka Brytania ma jeden z najniższych. Chiny i Kanada to ogromne rynki robotów przemysłowych, zaś Japonia jest największym dostawcą tej technologii. Jednocześnie w wielu obszarach rodzącego się sektora usług robotycznych Stany Zjednoczone są liderem rozwoju i wykorzystania maszyn, a Japonia od wielu lat jest pionierem w tak zaawansowanych zastosowaniach jak roboty zajmujące się domem.

Liczby te nie uwzględniają wielu dziesiątek tysięcy robotów badawczych na uniwersytetach i w laboratoriach przemysłowych, licznych zestawów typu "zbuduj to sam" w szkolnych pracowniach technicznych ani ogromnej liczby maszyn zaprojektowanych i zbudowanych przez hobbystów i gadżeciarzy.

Roboty już tu są; rozprzestrzeniają się i rozwijają. Dla wielu - może dla większości - nadal pozostają niewidoczne, ale przy obecnym tempie zmian taki stan rzeczy nie utrzyma się długo.

PRZYPISY

[1] Green, A. (2017) Security robot that deterred homeless encampments in the Mission gets rebuke from the city, San Francisco Business Times, 8 grudnia. Bromwich, J. (2019) Why do we hurt robots? New York Times, 19 stycznia.

[2] Green, A. (2017) The robots are coming to San Francisco but now they have rules, San Francisco Business Times, 6 grudnia.

[3] Mormann, F. i in. (2011) A category-specific response to animals in the right human amygdala, Nature Neuroscience 14:1247-1249.

[4] Oztop, E., Franklin, D., Chaminade, T. i Cheng, G. (2005) Human-humanoid interaction: is a humanoid robot perceived as a human?, International Journal of Humanoid Robotics 2(4):537-559.

[5] Broadbent, E. (2017) Interactions with robots: the truths we reveal about ourselves, Annual Review of Psychology 68:627-652.

[6] Broadbent, E., MacDonald, B., Jago, L., Juergens, M. i Mazharullah, O. (2007) Human reactions to good and bad robots, w: Proceedings of the 2007 IEEE/RSJ International Conference on the Intelligent Robots and Systems (IROS), 3703-3708. Spatola, N. i in. (2018) Not as bad as it seems: when the presence of a threatening humanoid robot improves human performance, Science Robotics 3(21):5843.

[7] Mori, M. (2012), przeł. MacDorman, K.F. i Kageki, N. The uncanny valley, IEEE Robotics and Automation 19(2):98-100 (tekst pierwotnie ukazał się w roku 1970 w języku japońskim). Mathur, M. i Reichling, D. (2016) Navigating a social world with robot partners: a quantitative cartography of the uncanny valley, Cognition 146:22-32. Nadal trwa debata na temat tego, czy efekt ten rzeczywiście istnieje, a jeśli tak, to gdzie ta dolina znajduje się na skali podobieństwa do ludzi, a także czy jest zależna od wieku i kultury.

[8] International Federation of Robotics, World Robotics Report 2016, https://ifr.org/ifr-press-releases/news/world-robotics-report-2016 [dostęp: styczeń 2019].

[9] iRobot Reports Record Fourth-Quarter and Full-Year Revenue, iRobot Press Release, http://media.irobot.com/2018-02-07-iRobot-Reports-Record-Fourth-Quarter-and-Full-Year-Revenue [dostęp: styczeń 2019].

[10] IFR Executive Summary World Robotics Service Robots 2017, https://www.ifr.org/.../press/Executive_Summary_WR_Service_Robots_2017_1.pdf [dostęp: styczeń 2019].