کارگاه

در کشور چین طرحی ملی به نام «نظام اعتبار اجتماعی»^{[۱]Social Credit System} در جریان است که هدفش ایجاد معیاری همگن برای سنجشِ اعتبارِ شهروندان و کسب‌و‌کارها از لحاظ رفتار اجتماعی و اقتصادی‌شان است. این سیستم مبتنی بر تحلیل کلان‌داده‌هایی^{[۲]big data} است که از شهروندان و کسب‌و‌کارها گردآوری می‌شود و ضمن سنجش اعتبار آن‌ها در حوزه‌هایی نظیر «صداقت با دولت»، «درست‌کاری در دادوستد»، «درست‌کاری در روابط اجتماعی» و «اعتبار قضایی» به آن‌ها نُمره می‌دهد. دولت چین هدفِ خود از این طرح را ایجاد یک «اقتصاد سوسیالیستی ایده‌آل» اعلام کرده که منطبق با شعار رئیس‌جمهور این کشور^{[۳]President’s Xi Jinping} نیز است: «یک‌ بار قابل اعتماد نبودن، همیشه محدود بودن»^{[۴]once untrustworthy, always restricted}. با وجودی‌‌که طرح هنوز به صورت کامل اجرا نشده، اما هدف دولت چین این است که تا سال ۲۰۲۰ تقریباً همهٔ شهروندان چینی را در برگیرد.^{[۵]Munro, K., China’s social credit system ‘could interfere in other nations’ sovereignty’. The Guardian, 2018.} شهروندانی که اطلاعات غلط در جامعه پخش کرده‌اند، از بلیط فاقد اعتبار استفاده کرده‌اند، در قطار سیگار کشیده‌اند یا جریمه‌شان را پرداخت نکرده‌اند ممکن است تا یکسال حق استفاده از قطار و هواپیما را نداشته باشند. بر اساس آمارهای دولتی تا کنون چندین میلیون شهروند چینی به این وسیله تنبیه شده‌اند.^{[۶]Reuters, China to bar people with bad “social credit” from planes, trains. Reuters, 2018.} از سوی دیگر، شهروندانی که اعتبار اجتماعی بالایی داشته باشند و نمرهٔ بهتری دریافت کنند پاداش دریافت می‌کنند: دسترسی ارزان به سالن‌های ورزشی، صفِ انتظار کوتاه‌تر در بیمارستان‌های دولتی، و دریافت وام با شرایط بهتر.

چین بزرگ‌ترین بازار دوربین‌های مدار بسته در جهان است. در حال حاضر ۲۰۰ میلیون دوربین مداربسته در این کشور نصب شده و گسترش سیستم نظارتِ هوشمند به این معناست که تا ۲۰۲۰ این تعداد به ۳۰۰ میلیون خواهد رسید. نصب گستردهٔ این دوربین‌ها، مجهز کردن‌‌ بسیاری از آن‌ها به فن‌آوری تشخیص چهره و وصل کردن‌شان به کلان‌داده‌‌های مربوط به شهروندان به این معناست که الگوریتم‌های خودکار می‌توانند شهروندانی که از «خط خارج می‌شوند» را در میان جمع شناسایی کنند و اطلاعات آن‌ها را در اختیار پلیس یا مراجع دیگر قرار دهند. چندی پیش، یکی از افراد پلیس به کمک عینکِ مجهز به سیستم تشخیص چهره موفق شد یک قاچاق‌چی را در ایستگاه قطار شهر جن‌جاو^{[۷]Zhengzhou} شناسایی کند. در یک کارناوال سالیانه در شهر چین‌‌دآئو^[۸]Qingdao، پلیس توانست گروهی از مجرمان را به کمک دوربین‌های مداربسته شناسایی و دستگیر کند. در شهر ووهو^[۹]Wuhu یک فرد متهم به قتل حین خرید از یک فروشگاه شناسایی و نهایتاً دستگیر شد. در برخی از شهرهای چین، چهرهٔ همهٔ افرادی که از ایستگاه‌های قطار عبور می‌کنند برای شناسایی متهمانِ تحت تعقیب پلیس اسکن می‌شود و مشخصات متخلفان راهنمایی‌ورانندگی یا کسانی که دارای بدهی پرداخت نشده هستند ممکن است در صفحه‌های بزرگِ عمومی نمایش داده شود. در تابستان گذشته، در یکی از پرترددترین نقاط شهر شان‌یانگ^{[۱۰]Xiangyang}، پلیس بیلبوردِ صفحهٔ نمایشیِ بزرگی نصب کرد که چهره، نام و شمارهٔ ملیِ افراد خاطی را (با تأخیری چند روزه) نمایش می‌داد: «حتی اگر فرد تصویرِ خودش را نبیند، همسایه‌ها و آشنایانش آن را خواهند دید و درباره‌اش حرف خواهند زد.» ایدهٔ این طرح کاهش تخلفات از طریق شرمسار کردنِ خاطیان است. حدود ۲۰ تا ۳۰ میلیون نفر در بانک اطلاعاتی ملی چین «ستاره‌دار» شده‌اند و رفتار آن‌ها باید تحت نظر باشد. دلیل ستاره‌دار شدن این افراد متفاوت است، اما عمدتاً مشکوک به تروریسم، جنایت، توزیع مواد مخدر و فعالیتِ غیرمجاز سیاسی هستند. رصد کردن این تعداد بسیار بیشتر از ظرفیت فعلی دوربین‌ها و الگوریتم‌هاست، اما هدف افزایش آن به حد کفایت است.^{[۱۱]Mozur, P., Inside China’s Dystopian Dreams: A.I., Shame and Lots of Cameras. N. Y. Times, 2018.}

شیوهٔ به کارگیری این فن‌آوری‌ها و گسترش پدیدهٔ «حکمرانی الگوریتمی»^{[۱۲]algorithmic governance} انسان را به یاد زندان‌های مجهز به سراسربینِ^{[۱۳]Panopticon} جرمی بنتام^{[۱۴]Jeremy Bentham} و میشل فوکو^{[۱۵]Michel Foucault} و ویران‌شهرهای توصیف شده توسط جورج اورول^{[۱۶]George Orwell} و فرانتس کافکا^{[۱۷]Franz Kafka} می‌اندازد. اما اگر فکر می‌کنید این نوع فن‌آوری‌ها فقط در نظام‌های سیاسی بسته‌ای مانند چین به کار گرفته می‌شوند، یا کاربرد آن‌ها فقط در این نوع نظام‌ها خطرناک است، سخت در اشتباه هستید. این روزها همهٔ شهروندان کشورهای توسعه‌یافته و کشورهای در حال توسعه‌ای نظیر ایران دارای پرونده‌های دیجیتالِ مرکزی در سازمان‌هایی نظیر ثبت‌و‌احوال، مالیات، پلیس و غیره هستند. علاوه بر این، اطلاعات زیادی از رفتارِ شهروندان در سیستم‌های مختلف کامپیوتری شرکت‌های خصوصی گردآوری و نگهداری می‌شود؛ مثلاً بانک‌ها و شرکت‌های بیمه اطلاعات گسترده‌ای از مشتری‌هایشان—که در جوامع صنعتی و حتی در حال توسعه بخش بزرگی از جامعه را تشکیل می‌دهند—نگهداری می‌کنند و از اطلاعاتِ خُردی نظیر این‌که چه کسی، با چه شغلی، با چه سنی، با چه جنسیتی، چه کالایی را، در چه زمانی، از کجا خریداری می‌کند، الگوها و الگوریتم‌هایی کُلی‌تر برای پیش‌بینی رفتار و سنجش اعتبار افراد استخراج می‌کنند.این کار به کمک فن‌آوری‌هایی نظیر هوش مصنوعی^{[۱۸]Artificial Intelligence}، یادگیری ماشین^{[۱۹]Machine Learning}، داده‌کاوی^{[۲۰]Data Mining}، تحلیل پیش‌گویانه^{[۲۱]predictive analytics} و انواع فن‌آوری‌های دیگری که به سرعت در حال گسترش هستند انجام می‌شود. مجموعاً در دورانی به سر می‌بریم که فن‌آوری‌های شبکه‌ای اطلاعات و قدرت بی‌سابقه‌ای را در اختیار دولت‌ها و شرکت‌های خصوصی قرار داده‌اند. سرعت این تحولات به حدی زیاد است که عرف‌های اجتماعی و نهادهای مدنی که وظیفهٔ پاسداری از شأن و حقوق افراد جامعه را دارند نمی‌توانند همراه با آن‌ها تغییر کنند و معمولاً پاسخ‌گوی شرایط جدید نیز نیستند. متعاقباً روزبه‌روز فاصلهٔ بین آن‌چه دولت‌ها و شرکت‌های خصوصی «قادر به انجام دادنش هستند» و آن‌چه به حکم عرف یا قانون «مجاز به انجام دادنش نیستند» بیشتر می‌شود. علاوه بر این، بسیاری از افراد جامعه شناختِ اندکی از ابعاد و عواقبِ احتمالی این نوع فن‌آوری‌ها دارند، بنابراین صرف‌نظر از جنبه‌‌های قهری، ممکن است به انتخاب خود به آن ها خوش‌آمد گفته و رفتار اجتماعی، اقتصادی و سیاسی‌شان را مطابقِ خواستِ الگوریتم‌ها تنظیم کنند. نتیجه تبدیل شدن بخش بزرگی از افراد جامعه به اتباعی رام، سربه‌زیر و عمیقاً ناتوان است که عملاً عنان اختیارشان را به دست الگوریتم‌ها سپرده‌اند و شوق و بیم‌ و خواسته و نیازشان از آن‌چه نرم‌افزارها تعیین می‌کنند تجاوز نمی‌کند. این تقلیل تدریجی انسان به موجودی مفلوک و زیردستِ الگوریتم‌ها کابوس همهٔ آزاداندیشان انسان‌گراست.

1. Social Credit System ↩

2. big data ↩

3. President’s Xi Jinping ↩

4. once untrustworthy, always restricted ↩

5. Munro, K., China’s social credit system ‘could interfere in other nations’ sovereignty’. The Guardian, 2018. ↩

6. Reuters, China to bar people with bad “social credit” from planes, trains. Reuters, 2018. ↩

7. Zhengzhou ↩

8. Qingdao ↩

9. Wuhu ↩

10. Xiangyang ↩

11. Mozur, P., Inside China’s Dystopian Dreams: A.I., Shame and Lots of Cameras. N. Y. Times, 2018. ↩

12. algorithmic governance ↩

13. Panopticon ↩

14. Jeremy Bentham ↩

15. Michel Foucault ↩

16. George Orwell ↩

17. Franz Kafka ↩

18. Artificial Intelligence ↩

19. Machine Learning ↩

20. Data Mining ↩

21. predictive analytics ↩

این ایده که آفریده‌ای هوشمند به انسان‌ها آسیب می‌رساند، بارها در عرصهٔ هنر و نظر مطرح شده است: در رمان فرانکشتاین^{[۱]Frankenstein; or, The Modern Prometheus} نوشتهٔ مری شلی^{[۲]Mary Shelley}، مصنوع دکتر فرانکشتاین از کنترلش خارج شده و دست به جنایت می‌زند؛ در فیلم ۲۰۰۱: اودیسهٔ فضایی^{[۳]۲۰۰۱: A Space Odyssey} محصول مشترک استنلی کوبریک^{[۴]Stanley Kubrick} و آرتور کلارک^{[۵]Arthur C. Clarke}، کامپیوتر هوشمند سفینه—موسوم به هال ۹۰۰۰—ارزیابی مرگ‌باری از شرایط مأموریت ارائه می‌دهد؛ در ماتریس^{[۶]The Matrix} محصول برادران واچوفسکی^{[۷]The Wachowskis}، جهان تحت سلطهٔ ماشین‌هایی هوشمند قرار گرفته که انسان‌ها را به انقیاد خود درآورده‌اند؛ در نابودگر^{[۸]The Terminator} به کارگردانی جیمز کامرون^{[۹]James Cameron}، شبکهٔ آسمان—موسوم به اسکای‌نت—قصد نابودی بشریت را دارد. این‌ها چند نمونه از مواردی هستند که می‌شناسم، وگرنه مثال‌ها به مراتب بیشترند.

استیون هاوکینگ^{[۱۰]Stephen Hawking}—که به تازگی درگذشت؛ روحش شاد—گفته بود «دستگاه‌های هوشمند می‌توانند پایان گونهٔ انسان را رقم بزنند.» اگر روزگاری فقط نخبگان فکری نسبت به پیشرفت فن‌آوری و انقیاد انسان هشدار می‌دادند، امروز حتی کارآفرین‌های خوش‌بینی نظیر الون ماسک^{[۱۱]Elon Musk} هم نگران پیشرفت‌های سریع در حوزهٔ هوش مصنوعی هستند: ماسک خطر هوش مصنوعی را از سلاح‌های هسته‌ای بیشتر می‌داند و خواستار ایجاد نهادهایی برای کنترل آن شده است.

اغلب ما، وقتی به ماشین‌هایی با توانایی فرا-انسانی می‌اندیشیم، ویران‌شهری^{[۱۲]dystopian} را تصویر می‌کنیم که در آن ماشین‌ها علیه انسان‌ها شوریده‌اند، تو گویی اراده‌ای ضدبشری در آن‌ها شکل گرفته است.^{[آ]این تصویر کمی اغراق‌آمیز است، اما نسخهٔ واقع‌گرایانه‌‌تر آن‌را می‌توان چنین در نظر گرفت که خطر ماشین‌های هوشمند وقتی در اختیار دولت‌ها یا تروریست‌ها قرار بگیرند به شکلی غیرقابل پیش‌بینی زیاد است. اما در این صورت آن‌ها هنوز تحت کنترل انسان‌ها هستند و گونهٔ خودمختاری از ابزارها تلقی نمی‌شوند.} اما، نِیت سورس^{[۱۳]Nate Soares}، از انستیتوی تحقیقات هوش ماشینی^{[۱۴]Machine Intelligence Research Institute} می‌گوید که این تصویر کاملی نیست. به نظر او ویران‌شهر ناشی از ماشین‌های هوشمند احتمالاً شباهت زیادی به ماتریس یا نابودگر ندارد. در این داستان‌ها ماشین‌های هوشمند قصد جان آدم‌ها را کرده‌اند؛ اما دلیلی ندارد هوش مصنوعی رویکردی منفی علیه انسان‌ها داشته باشد. در عوض سورس خطر اصلی را در این می‌داند که هوش مصنوعی وظیفهٔ محول شده به خود را بیش از حد خوب انجام دهد؛ همراه با خلاقیتی مستقل، ولی از نظر ما نامطلوب. به نظر او چالش بزرگی که پیش روی ما قرار دارد این است که بفهمیم هوش مصنوعی چگونه کار می‌کند و بتوانیم عملکرد آن‌را در جهت مورد نظرمان هدایت کنیم. اما هوش مصنوعی، اگر به مرحلهٔ قابل مقایسه با هوش انسانی برسد، دارای ابتکار عمل‌های ویژهٔ خود خواهد شد و پیش‌بینی و مهار این ابتکار عمل‌ها به شیوه‌ای که مطلوب ما باشد دشوار است.

یوهان ولفگانگ گوته^{[۱۵]Johann Wolfgang von Goethe} تصنیفی دارد به نام «شاگرد جادوگر»^{[۱۶]The Sorcerer’s Apprentice; 1797}. استاد جادوگر برای کاری از کارگاه بیرون می‌رود. شاگرد که وظیفه دارد کارگاه را تمیز کند، به کمک جادویی که هنوز به خوبی نیاموخته، جاروی دستی‌اش را وادار می‌کند که به جای او کار کند؛ اما کم‌کم متوجه می‌شود که مشکلی وجود دارد. جارو متوقف نمی‌شود و مصرانه به آوردن آب از چاه ادامه می‌دهد. از آن‌جا که او به هیچ‌وجه نمی‌تواند جارو را متوقف کند، با تبر آن‌را دو نیمه می‌کند. اما نیمه‌ها، خود به جاروهایی کامل تبدیل می‌شوند و به آب آوردن ادامه می‌دهند. عاقبت در حالی که اوضاع به کلی از کنترل شاگرد خارج شده است، استاد به کارگاه باز می‌گردد و طلسم را می‌شکند. کمپانیِ والت‌دیسنی، در روزهایی که هنوز هنر را می‌فهمید، پویانمایی بلندی تولید کرد به نام «فانتزیا»^{[۱۷]Fantasia; 1940} که یکی از ماندگارترین قسمت‌های آن بر اساس همین شعر گوته ساخته شده است.^{[۱۸]Fantasia Sorcerer’s Apprentice — https://www.youtube.com/watch?v=3hKgEylk8ks}

شاید خطر هوش مصنوعی بیشتر شبیه جاروی بیش‌ از حد وظیفه‌شناس داستان گوته باشد. شاگرد جادوگر، در ساختن جارویی که آب می‌آورد موفق بود؛ اما جارو بیش از حد وظیفه‌شناس و خلاق بود و او را غافلگیر کرد. جارو دشمن شاگرد نبود، بلکه قصد داشت وظیفه‌ای که به او محول شده بود را انجام دهد و در این‌کار هوش و درایت خود را به کار گرفت؛ با این‌حال نتیجهٔ کارش ویرانی بود. ماشین‌های فوق هوشمندی را در نظر بگیرید که برای ارائهٔ خدمات به جامعه طراحی شده‌اند و کارشان را نیز به خوبی انجام می‌دهند. اما پیچیدگی زیادشان به اتخاذ ابتکارعمل‌هایی منجر شود که از نظر ما غیرقابل قبول هستند و در عین حال راهی برای مهار فوری آن‌ها نداریم. از این نظر، هال ۹۰۰۰ داستان اودیسهٔ فضایی، در مقایسه با شبکهٔ آسمان فیلم نابودگر، آیندهٔ ویران‌شهری باورپذیرتری را نمایندگی می‌کند.

1. Frankenstein; or, The Modern Prometheus ↩

2. Mary Shelley ↩

3. ۲۰۰۱: A Space Odyssey ↩

4. Stanley Kubrick ↩

5. Arthur C. Clarke ↩

6. The Matrix ↩

7. The Wachowskis ↩

8. The Terminator ↩

9. James Cameron ↩

10. Stephen Hawking ↩

11. Elon Musk ↩

12. dystopian ↩

13. Nate Soares ↩

14. Machine Intelligence Research Institute ↩

15. Johann Wolfgang von Goethe ↩

16. The Sorcerer’s Apprentice; 1797 ↩

17. Fantasia; 1940 ↩

18. Fantasia Sorcerer’s Apprentice — https://www.youtube.com/watch?v=3hKgEylk8ks ↩