فلسفه تکنولوژیهوش مصنوعی

انقلاب اخلاقی یا آپوکالیپس؟ چرا حریم خصوصی داده های شما در خطر است؟

مرد آهنی VS ترمیناتور | خیر یا شر؟

در دنیایی که هوش مصنوعی به سرعت در حال فراگیری‌است، ما هنوز هم خود را در وضعیتی برزخی میان دو نتیجه احتمالی مرد آهنی (خیر) و ترمیناتور (شر) می‌بینیم. در حالت اول، ما همانطور که آیرون من، شخصیت کتاب‌های کمیک مارول، از فناوری برای غلبه بر مهمترین چالش‌هایش استفاده می‌کرد، از هوش مصنوعی و تکنولوژی برای توانمندسازی خود انسان استفاده می‌کنیم. اما در حالت دوم، فناوری، مانند ترمیناتور، بدون هیچ گونه تعمق یا تشخیصی به کار گرفته می‌شود که منجر به دنیایی دیستوپیایی/ویرانشهری می‌شود که در آن اتوماسیون کامل و بی‌رحمانه بر همه چیز چیره شده است.

مرد آهنی در مقابل ترمیناتور
مرد آهنی در مقابل ترمیناتور

تمام فناوری‌ها، از جمله هوش مصنوعی، برای یک هدف واحد بوجودآمده‌اند: بهبود زندگی انسان. برای رسیدن به این هدف، فناوری باید حقوق بنیادین بشر از جمله غذا، آموزش، بهداشت، معیشت، محیط زیست پاک و از همه مهمتر حق حریم شخصی و آزادی فرد را تامین کند. فناوری نباید زندگی انسان را بدتر کند و نباید هیچ حقی از حقوق بشر را از ما سلب کند. اما امروزه، ردپای داده1 های ما (که توسط هر چیزی که به برق متصل‌است تولید می‌شوند) و هوش مصنوعی که آن‌ها را رمزگشایی می کند، به همان اندازه که ما را توانمند می‌سازند، تهدید نیز می‌کنند. بزرگترین نمونه‌ای که شاید همگان به خاطر داشته باشیم، فیسبوک و مشکلات مداوم آن در این حوزه‌است. اما فیسبوک تنها نشانه‌ای از یک موضوع بزرگ‌تر در فناوری و جامعه‌است: حریم خصوصی داده ها و نیاز آشکار –و فوری! – به اخلاق در تکنولوژی و به خصوص هوش مصنوعی.

تجاوز به حریم خصوصی از طریق تنوع داده ها

همه ردپاهای داده‌ای یکسان نیستند. تا به امروز، نگرانی‌های موجهی در مورد حفاظت از داده های «قدرتمند» ما وجود داشته‌است. داده های «قدرتمند» داده هایی هستند که به طور کامل جزئیات اطلاعات شخصی ما را شناسایی می‌کنند: نام، شماره شناسایی، حقوق، آدرس و این دست از داده ها. از سوی دیگر، داده های «ضعیف» دارای تنوع گسترده‌تر و به ظاهر کم‌معناتری هستند: چه فیلم‌هایی دیده‌ام، نظرات من در مورد هزینه‌های اکتشاف فضا، اینکه آیا ماهیگیری را دوست دارم، چراغ قوه‌ای دارم یا اینکه در انتخابات رأی داده‌ام یا نه. اما به دلیل حجم زیاد و تنوع آن و جادوی برازش منحنی یادگیری ماشین، داده های ضعیف می توانند حتی جزئیات شخصی بیشتری را نسبت به داده های قدرتمند درباره فرد نشان دهند. در واقع، داده های ضعیفِ ذکر شده در بالا، می‌توانند به ترتیب با سطح تحصیلات، جنسیت، گرایش سیاسی، نژاد و سطح درآمد فرد مرتبط باشند. داده های ضعیف هر چیزی هستند به جز “ضعیف” و جزئیات پنهانی هویت و اعتقادات شخصی ما را آشکار می‌کنند.

اگر امروز استفاده‌های غیر اخلاقی از داده و هوش مصنوعی را ممنوع نکنیم، به سرعت وارد یک دنیای دیستوپیایی/ویرانشهری خواهیم شد و واکنش شدید اجتماعی و مقرراتی ناشی از آن، استفاده‌های خوب از داده ها را به همراه موارد نادرست آن ممنوع خواهد کرد.

شومیت گوس

نکته مهم این‌است که داده های ضعیف برای ایجاد مزایای جدید برای اقشار محروم به کار گرفته شده‌اند. برخی شرکت‌ها با ایجاد ارتباط بین سیگنال‌های داده ضعیف، خدمات مالی را برای افرادی که به بانک‌های سنتی دسترسی ندارند، ارائه می‌دهند. در حوزه مراقبت‌های بهداشتی، از داده های ضعیف، نه تنها برای کمک به تشخیص بیماری‌های مختلف مانند افسردگی، پارکینسون، زوال عملکرد شناختی، سرطان پانکراس و آریتمی، بلکه حتی برای توانمندسازی افراد مبتلا به اضطراب و افسردگی نیز استفاده شده‌است. هوش مصنوعی مبتنی بر داده، بزرگترین عامل تغییر در جهان‌است و به عنوان یک پلتفرم توانمندساز برای «ارتقای جایگاه» افرادی که قبلاً به هر دلیلی از سوی جامعه نادیده گرفته می‌شدند، عمل می کند.

دقیقاً به دلیل همین پتانسیل‌های مثبت داده و هوش مصنوعی است که باید به پتانسیل‌های منفی آن‌ها توجه فوری داشته باشیم. اگر امروز استفاده‌های غیر اخلاقی از داده و هوش مصنوعی را ممنوع نکنیم، به سرعت وارد یک دنیای ویرانشهری خواهیم شد و واکنش شدید اجتماعی و مقرراتی ناشی از آن، استفاده‌های خوب از داده را به همراه موارد بد آن ممنوع خواهد کرد.

درک و قدردانی از تأثیرات هوش مصنوعی

ما با سرعتی فزاینده به سمت دنیایی حرکت می‌کنیم که به شدت تحت تأثیر داده ها قرار دارد، اما ممکن‌است کسب‌وکارهای سنتی، دولت‌ها و شهروندان به طور یکسان تأثیرات آن را درک نکنند. ما به طور فزاینده‌ای به تصمیمات خودکار (و اغلب لحظه‌ای) که توسط هوش مصنوعی گرفته می شود، تکیه می‌کنیم، بدون اینکه درک روشنی از آنچه انجام می شود و یا برای چه کسی و چرا انجام می شود، داشته باشیم.

به عنوان مثال، خودروها در حال گذار از پلتفرم‌های راننده محور (با تمرکز بر مهندسی مکانیک) به پلتفرم‌های مسافر محور (با تمرکز بر داده و هوش مصنوعی) هستند. این امر پیامدهای روشنی بر فناوری خودرو و همچنین فرصت‌های نامحدود در مدل کسب‌وکارهای مرتبط با آن دارد. همچنین، خودروها نمونه بارز تأثیرات منفی و پیامدهای ناخواسته‌ی هوش مصنوعی نیز هستند. برای مثال کمپانی ولوو سوئد در تشخیص کانگوروها (که در مجموعه داده های آموزشی در استرالیا وجود دارد، اما قطعا در داده های سوئد موجود نیست) سردرگم شد.

به طور مشابه، تأثیرات اخلاقی – هرچند ناخواسته – از هوش مصنوعی در زمینه‌های مختلفی مانند اعطای وام مصرفی، تشخیص جنسیت در تحلیل چهره و یا هدف‌گیری فیسبوک برای تبلیغات شغلی احساس شده‌است. گزارش اخیر یونسکو با عنوان “اگر می‌توانستم سرخ می‌شدم” بیشتر به شکاف اخلاقی جنسیتی در هوش مصنوعی اشاره می کند.

قدردانی از هوش مصنوعی و تکنولوژی

نقض حریم خصوصی: فراتر از یک تبلیغ آنلاین مزاحم

بحث‌های عمومی در مورد حریم خصوصی اینترنت، تمایل دارند روی رمزگذاری داده ها یا تبلیغات آنلاین آزاردهنده‌ای که در حین وبگردی ما را دنبال می‌کنند، تمرکز کنند. اما در نهایت، این‌ها جلوه‌های پیش پا افتاده‌ای از تهدیدات اخلاقی و حریم خصوصی ناشی از داده و هوش مصنوعی هستند. تعریف نهایی حریم خصوصی توانایی مخفی نگه داشتن افکار و عقاید و اطلاعات خود از دیگران‌است. تهدید برای حریم خصوصی زمانی‌است که یک دولت یا نهادی با هدف حداکثر کردن سود بداند چه چیزی در ذهن شما می‌گذرد و حتی فراتر از آن با تحت تأثیر قرار دادن آنچه در ذهن شما می‌گذرد، عمل کند.

داده رمزگذاری شده، تضمینی برای حفظ حریم خصوصی نیست: این کار مانع از رسیدن کمپانی‌های نگهدارنده داده به نتایج شخصی در مورد شما نمی شود. مسئله حریم خصوصی بسیار فراتر از یک تبلیغ کفش‌است که در صفحات وبی که از آن‌ها بازدید می‌کنید ظاهر می شود. در نظر بگیرید با توجه به اینکه قانون اساسی آمریکا «حق تجمع مسالمت آمیز مردم» را تضمین می کند، اگر از ثبت اختراع فیس‌بوک برای سنجش اعتبار مالی شما بر اساس امتیاز اعتباری دوستان شبکه‌ی اجتماعی‌تان مطلع شوید، آیا حق شما برای برقراری ارتباط آنلاین با هر کسی که انتخاب می‌کنید محدود می شود؟

با درک ناقص از هوش مصنوعی، داده های ضعیف، سیاست‌های حریم خصوصی پیچیده و غیرقابل فهم و برنامه‌های موبایلی که اطلاعات را لو می‌دهند، ما به عنوان “افراد” به وضوح مغلوب شده‌ایم.

جف بزوس چه می‌کند؟

نیت خیر هرگز کارساز نیست، برای انجام هر کاری به مکانیزم‌های خوب نیاز دارید.

جف بزوس

همانطور که می‌دانیم، اسپیکر‌های هوشمند دارای دستیار صوتی، در حال تبدیل شدن به وسیله‌های همیشگی در مکان‌های خصوصی ما، از جمله خانه و ماشین‌مان هستند. این دستگاه‌ها تهدیدی جدی و شبانه‌روزی برای حریم شخصی به شمار می‌روند. این خطر از دو جهت ناشی می‌شود:

  • اول: کارکنان شرکت‌هایی که به دنبال کسب حداکثر سود هستند، می توانند به اطلاعات خصوصی ما دسترسی پیدا کنند.
  • دوم: وضعیت فعلی فناوری هوش مصنوعی به گونه‌ای‌است که ردپای باقی‌مانده از گفتار ما، از روابط بین فردی گرفته تا وضعیت جسمی و روحی یک فرد، قابل تشخیص و نقض‌کننده حریم خصوصی است.

نباید تعجب کنیم که آمازون اختراع “تعیین ویژگی‌های فیزیکی و عاطفی کاربران بر اساس صدا” را ثبت کرده‌است.

قابل توجه‌است که به تازگی، کمپین “کودکیِ بدون تبلیغات” به همراه چند گروه دیگر، شکایتی را علیه دستگاه اکو دات مخصوص کودکان شرکت آمازون (Amazon’s Echo Dot for Kids) تنظیم کرده و به کمیسیون تجارت فدرال آمریکا (FTC) ارائه داده‌اند. دلیل این شکایت، نقض احتمالی قانون حمایت از حریم شخصی آنلاین کودکان (COPPA) توسط این دستگاه عنوان شده‌است.

مسائل مربوط به حریم شخصی و اخلاق فراتر از تحلیل هوش مصنوعی روی صدا بوده و تجزیه و تحلیل چهره را نیز در بر می‌گیرد. تصاویر چهره قابل تحلیل هستند تا وضعیت سلامتی ما و همچنین گرایش جنسی ما را تعیین کنند. حجم زیادی از تحقیقات علمی در سراسر جهان در حال انجام‌است تا احساسات ما (یعنی اینکه چه چیزی درون ذهن ما می‌گذرد) را از طریق تحلیل چهره با هوش مصنوعی تشخیص دهد. اخلاقِ این نوع هوش مصنوعی یک سوال بی پاسخ‌است. والمارت فناوری جدیدی را به عنوان اختراع ثبت کرده‌است که با تحلیل ویدیو مشتریان را شناسایی کرده و داده های بیومتریک مشتری را اندازه گیری می کند تا مواردی مانند نارضایتی مشتری را تشخیص دهد و سپس احتمالا داده های بیومتریک مشتری با داده های تراکنش مالی او مرتبط می‌شود.

مروری بر فناوری دیپ فیک، کاربردها و روش‌های شناسایی آن

منابع بالقوه تهدید حریم خصوصی همچنان در حال گسترش هستند. حتی شرکت بیمه‌‌ای “استیت فارم” که یک شرکت صد ساله‌است و در حوزه‌ی نسبتاً کم‌تحرکی چون بیمه فعالیت می‌کند، حق اختراعی را برای گردآوری و همبسته‌سازیِ “داده های خانه، داده های وسیله نقلیه و داده های سلامت شخصی مرتبط با فرد” برای “اهداف مدیریت زندگی” ثبت کرده‌است. با این شرایط، حال که حجم عظیمی از داده های (5G) به پلتفرم بازی Stadia گوگل سرازیر می‌شود، با توجه به اینکه بازی‌های ویدیویی می توانند عملکرد ذهنی افراد در سراسر دنیا را به طور غیرمستقیم بسنجند، چه اتفاقاتی در انتظار ماست؟

همانطور که گفته شده، اولین حقی که زیر سلطه یک رژیم سرکوبگر از بین می‌رود – بهترین ابزار کنترل رژیم – حق حریم خصوصی است. هوش مصنوعی در دستان دولت‌ها و شرکت‌های بزرگ نیز علی‌رغم “نیت‌های خیرِ” آن‌ها، تهدیدآمیز است. با پیروی از توصیه آقای بزوس، بهتر است برای تضمین اخلاق هوش مصنوعی و حریم خصوصی خود، «مکانیزم‌های خوبی» را اجرا کنیم.

بوسه‌ی یهودا2؟ | “حریم خصوصی دروغین”

حریم خصوصی دروغین

برخی از مضحک‌ترین درخواست‌ها برای قانونگذاری در حوزه حریم خصوصی داده ، اکنون از سوی همان شرکت‌هایی مطرح می‌شود که بیشترین توانایی برای نقض حریم خصوصی ما را دارند. با نگاهی طعنه‌آمیز، می‌توانیم از داستان مالیاتی آمازون در سال ۲۰۱۸، زمانی که این شرکت با وجود کسب 11.2 میلیارد دلار سود، هیچ مالیاتی به دولت فدرال پرداخت نکرد، درس تلخی بگیریم. به عبارت دیگر، غول‌های داده محور ممکن‌است اطمینان داشته باشند که داده و هوش مصنوعی را به مراتب بهتر از هر نهاد نظارتی درک می‌کنند و می توانند به راحتی قوانین را بگونه‌ای دور بزنند که قانون شکنی طلقی نشود. این بازیگران بزرگ نه تنها قادر خواهند بود پشت سر رعایت قوانین پنهان شوند، بلکه این قوانین به اندازه‌ای دست و پاگیر خواهند بود که برای شرکت‌های کوچک‌تر به عنوان یک مانع رقابتی عمل کنند.

پروژه انتقال اطلاعات که توسط فیس‌بوک، گوگل و دیگران به عنوان یک پلتفرم متن‌باز برای جابه‌جایی داده بین سرویس‌ها تبلیغ می‌شود، احتمالا به هدف خودش نمی‌رسد. چون در توضیح این پروژه گفته شده “قابلیت جابه‌جایی داده شامل اطلاعاتی که برای بهبود سرویس جمع‌آوری شده‌اند، نمی‌شود.” این یعنی شرکت‌ها همچنان می‌توانند از انتقال داده های مهم شما جلوگیری کنند، با این بهانه که فناوری‌های اختصاصی‌شان در خطر‌است. در نهایت، اطلاعات کاربران فقط تا زمانی قابل انتقال‌است که به نفع شرکت‌ها باشد.

بازتعریف انحصار در عصر هوش مصنوعی

قانون عرفی به هر فرد حق می‌دهد که در حالت عادی، تا چه حد افکار، احساسات و عواطف خود را به دیگران منتقل کند.

حق حریم خصوصی، ساموئل دی. وارن و لوئیس دی. براندیس، بررسی حقوقی هاروارد، ۱۵ دسامبر ۱۸۹۰

لوئیس براندیس، قاضی دیوان عالی ایالات متحده، یک قرن پیش به دلیل مبارزه با انحصار و همچنین دفاع از “حق عدم تعرض به حریم خصوصی” مورد تقدیر قرار گرفت. بسیاری از مسائل اخلاقی که امروزه در عصر هوش مصنوعی با آن‌ها مواجه هستیم، ناشی از این واقعیت است که داده های بسیاری در دست تعداد کمی از شرکت‌های انحصارگر متمرکز شده‌اند، که امکان دخالت بی‌سابقه مبتنی بر داده در حریم خصوصی افراد را برای آن‌ها فراهم می‌کند. اقتصاد مبتنی بر داده، مقررات ضد انحصار موجود را از بین می‌برد. اکنون زمان آن رسیده‌است که انحصار (monopoly) را بازتعریف کنیم.

تا پیش از این، اگر شرکتی بر تمام منابع تأمین یک محصول یا خدمات تسلط داشت، می‌توانست به طور انحصاری قیمت‌گذاری کند و این امر مستوجب اعمال تحریم‌های ضد انحصار توسط دولت می‌شد. امروزه، اگر شرکتی همه منابع داده را کنترل کند، بر حریم خصوصی انحصار پیدا می‌کند، که تهدیدی بزرگتر برای فرد نسبت به صرفاً قیمت یک محصول است. سلطه‌گرانِ بر داده‌ها نیز مستحق تحریمِ ضدِ انحصارِ دولت هستند.

سلطه‌گران کنونی بر داده‌ها، اگر مهار نشوند، تنها ذی‌نفعان انباشت هر چه بیشتر اطلاعات خواهند بود. آن‌ها از طریق ابتکارات خود، مشارکت با کسب و کارهای سنتی و همکاری با نهادهای دولتی، همچنان به انباشت حجم عظیم‌تری از داده ها – همراه با تجاوزهای عمیق‌تر به حریم خصوصی ما – ادامه خواهند داد. سلطه‌گران بر داده‌ همچنین مانع ورود بازیگران جدید – که قادر به استفاده از داده ها در حجم کافی نیستند – شده و در نتیجه رقابت را از بین می‌برند. رقابت عنصری ضروری برای هر اقتصاد سالم‌است و بدون رقابت، ممکن‌است هرگز به شیوه‌های اخلاقیِ کسب و کار دست پیدا نکنیم.

علاوه بر به‌روزرسانی تعریف انحصار و مقررات ضد انحصار، قوانین موجود در زمینه حریم خصوصی نیز باید تقویت شوند. ما نیاز داریم تا از سازوکار‌های «محافظت از داده» به سمت سازوکارهایی حرکت کنیم که استفاده غیر اخلاقی از داده را ممنوع کنند. اگر برای یک شرکت، پرسیدن سوالات شخصی در مورد گرایش سیاسی، مذهب، سلامت و گرایش جنسی در مصاحبه شغلی، غیر قانونی است، آیا نباید همین ممنوعیت‌ها برای اطلاعات بدست آمده از تحلیل جریان داده های ما نیز اعمال شود؟ همه کسب‌وکارها، آنلاین و آفلاین، باید توضیح دهند که چه داده هایی را جمع‌آوری می‌کنند و فهرستی صریح از نتایج روان‌شناختی که از آن داده ها استنتاج می‌کنند ارائه دهند.

در نهایت، حفظ حریم خصوصی داده ها یک موضوع اخلاقی است، نه اقتصادی. درخواست‌های وضعِ مالیات اضافی بر شرکت‌های سلطه‌گر بر داد‌ه، گرچه با حسن نیت مطرح می‌شود، اما از اصل موضوع دور هستند. رویه‌های غیراخلاقی شرکت‌هایی که به حریم خصوصی افراد تجاوز می‌کنند، باید ممنوع شوند، نه اینکه صرفا مالیات بر آنها وضع گردد.

جنگ آخرالزمانی با تکنولوژی

اجتناب از اشتباهات قرن بیستم

موفقیت کسب و کارها در گرو پایداری آنهاست. اگر کسب و کاری غیر اخلاقی باشد، در نهایت غیرقابل دوام خواهد بود. با در نظر گرفتن این نکته، مشخص می‌شود که تنها راه برای ساخت یک کسب‌وکار پایدار مبتنی بر داده و مبتنی بر هوش مصنوعی در قرن بیست و یکم، مهندسی اخلاق در مدل کسب‌وکار، از ابتدا است.

آمازون با بی‌ارزش کردن و استثمار فروشندگان، انحصار خرید و فروش در تجارت الکترونیک ایجاد کرده‌است. اکنون اقتصاد گیگ (کارهای پاره وقت و پروژه‌ای) نیروی کار انسانی را تهدید به تبدیل شدن به کالا می‌کند. آیا صنعت حمل و نقل با برنامه‌های درخواست خودرو (مثل اسنپ) هم یک انحصار (monopsony) است؟ آیا  آن‌ها ما را به “ربات‌های گوشتی” تبدیل کرده‌اند که فقط صندلی‌ها را گرم نگه می‌داریم تا ربات‌های واقعی با رسیدن و رانندگی ارزان‌تر، جای ما را بگیرند؟ و اگر چنین‌است، آیا مدل کسب و کار این شرکت‌ها پایدار‌است؟ ما “ربات‌های گوشتی” با حل شدن مشکل باتری ربات‌های واقعی، در زمینه‌های بیشتری با تهدید معیشتمان مواجه خواهیم شد. وقتی آن روز فرا برسد، آیا منسوخ کردن کل طبقات شغلی صرفاً به خاطر صرفه‌جویی در هزینه، اخلاقی و پایدار خواهد بود؟

بر همه ما واجب‌است تا اخلاق را در هوش مصنوعی پیش ببریم. دولت‌ها می‌توانند مقررات جدید و نهادهای نظارتی جدیدی را در نظر بگیرند. دانشگاهیان – که به فناوری‌ها، قوانین و تأثیرات اجتماعی اشراف دارند – می‌توانند مواضع سیاسی اتخاذ کنند. کارمندان می‌توانند مانند سایر مشاغل، وظایف مراقبت اخلاقی را اعمال کنند. ورودکنندگان جدید به اقتصاد داده، از جمله استارت‌آپ‌ها و شرکت‌های قدیمی، می‌توانند ارزش‌های پیشنهادی خود را بر اساس اخلاق داده بنا کنند و شرکت‌های انحصارگر داده‌ی موجود نیز می‌توانند به جای بخشی از مشکل، قسمتی از راه‌حل باشند.

نکته مهم این‌است که «خودتنظیمی» مهمترین عامل‌است. با توجه به سرعت سرسام آور فناوری، مقررات شرکتی و دولتی هرگز نمی‌توانند با آن همگام شوند. تنها از طریق به کار بستنِ قطب‌نمای اخلاقی خودمان‌است که می‌توانیم در مسیر هوش مصنوعیِ اخلاقی گام برداریم. این یعنی دانستنِ اینکه چه کاری درست‌است، نه فقط انجام دادنِ آنچه ممکن‌است.

بزرگترین پیشرفت مورد نیاز در زمینه هوش مصنوعی، نه در تکنولوژی، بلکه در اخلاق است. اگر امروز، پیش از عبورِ هوش‌مصنوعی از افق رویداد [نقطه گذر غیرقابل بازگشت]، اخلاق را در آن ادغام نکنیم، هرگز قادر به انجام این کار نخواهیم بود. در سپیده دم قرن گذشته، ما شاهد پیشرفت‌های عظیم تکنولوژیکی در فیزیک، شیمی و مهندسی بودیم. با این حال، این پیشرفت‌ها اغلب به جای رفع گرسنگی، بیماری، جهل و فقر، در جنگ، آلودگی، سرکوب و سلب آزادی به کار گرفته شدند. اجازه ندهیم که پیشرفت‌های قرن بیست و یکم در علم داده و هوش مصنوعی مسیر مشابهی را طی کنند.

  1. ردپای دیجیتال یا سایه دیجیتال به کنش‌ها، رفتار‌ها و ارتباطات دستگاه‌های الکترونیکی در اینترنت گفته می‌شود. ردپای اینترنتی یعنی اطلاعاتی که کاربر اینترنت در هنگام وبگردی از خود به جا می‌گذارد و به صورت cookie HTTP نگهداری می‌شود. ↩︎
  2. عملی که به نظر می‌رسد دوستانه باشد، اما در واقع برای مخاطب زیان‌آور است. ↩︎
امتیاز دهید!
6 / 4.7

نوشته های مشابه

دیدگاهتان را بنویسید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *

دکمه بازگشت به بالا