چک واقعیت: ما به هوش مصنوعی آموزش دادیم که پرکاربردترین وسایل در این انتخابات را شناسایی کند. این چیزی است که پیدا کرد | انتخابات استرالیا 2022

بررسی جدید مدت‌هاست که ستون اصلی “عملیات عکسبرداری” سیاسی بوده است، اما تجزیه و تحلیل آبان نیوز استرالیا از عکس‌های ارسال شده در کمپین‌های انتخاباتی 2022 و 2019 نشان می‌دهد که چک‌های بزرگ در راه است، در حالی که لباس‌های کاری و عکس‌های سگ‌ها در دسترس هستند. افزایش.

در طول کار ما برای ساختن سیستم‌های خودکار پشت دستگاه اندازه‌گیری گوشت خوک، که میزان بشکه‌های گوشت خوک مبارزات انتخاباتی را در زمان وقوع آن ردیابی می‌کند، تیم داده‌های آبان نیوز متوجه شدیم که یک سوال مهم می‌پرسیم. آیا می‌توانیم به ربات یاد دهیم که عکس‌های چک‌های جدید را تشخیص دهد؟

ما قبلاً از یادگیری ماشینی برای پرچم‌گذاری متن از پست‌های فیس‌بوک سیاستمداران به‌عنوان اعلامیه‌های اعطایی و وعده‌های انتخاباتی استفاده می‌کردیم، اما وجود مدل دیگری برای یافتن چک‌ها و گواهی‌های بزرگ در عکس‌ها ممکن است مواردی را که در متن از قلم افتاده بودیم، نشان دهد.

چک‌های غول‌پیکر در سال‌های گذشته خبرساز شده بودند – در سال 2019، زمانی که نامزد سابق لیبرال برای مایو، جورجینا داونر، به یک باشگاه بولینگ کمک مالی ارائه کرد، علی‌رغم اینکه این رویه معمولاً در حوزه نماینده مجلس است. در سال 2020، زمانی که سناتور پائولین هانسون از کمک مالی 23 میلیون دلاری برای ورزشگاه راکهمپتون خبر داد، یک بررسی جدید دوباره به تیتر خبرها تبدیل شد.

با در نظر گرفتن این موضوع، ما یک مدل تشخیص شی را آموزش دادیم تا چک های غول پیکر را شناسایی کند. و از آنجا، نگاهی کوتاه به دیگر جنبه‌های متداول عکس‌برداری مبارزات انتخاباتی داشتیم: لباس کار و کلاه‌های سخت، سگ‌های بامزه، و فوتبال.

ما اینها را انتخاب کردیم زیرا یا قبلاً در مدل‌های از پیش آموزش‌دیده‌شده مانند کوکو موجود بودند یا مجموعه داده‌های تصویری در دسترس عموم برای آموزش مدل‌ها داشتند.

سپس هر عکسی را که توسط یک نامزد اصلی حزب، نماینده مجلس یا سناتور در دوره های انتخاباتی 2022 و 2019 در فیس بوک پست شده بود با استفاده از API فیس بوک جمع آوری کردیم و مدل های تشخیص اشیا خود را روی این تصاویر اجرا کردیم.

پس چی پیدا کردیم؟

ابتدا، چند نکته مهم در مورد روش ما.

در حالی که بسیاری از تصاویر، تصاویری از عملیات عکس هستند، بسیاری از عکس‌ها نیز فقط چیزهایی هستند که سیاستمداران در صفحات خود به اشتراک گذاشته‌اند. برای نامزدهای نخست‌وزیری، مجموعه عکس‌های فیس‌بوک شامل تمام عکس‌هایی که در مسیر مبارزات انتخاباتی انجام داده‌اند، نمی‌شود – ما به لطف پوشش جامع انتخابات AAP توانستیم این را بررسی کنیم.

بنابراین مجموعه داده لزوماً تمام عکس‌هایی نیست که سیاستمداران می‌خواهند در اخبار منتشر کنند، بلکه قطعاً عکس‌هایی است که می‌خواهند با رأی دهندگان در رسانه‌های اجتماعی به اشتراک بگذارند.

ما همچنین ابتدا هر تصویر را برای حضور یک شخص بررسی کردیم قبل از اجرای تشخیص شی. این شامل عکس‌هایی نمی‌شود که مثلاً فقط یک سگ داشته باشند. روش ما همچنین نمی‌تواند تشخیص دهد که آیا سیاستمدار کسی است که لباس سلام پوشیده است، بنابراین اگر یک سیاستمدار عکس دیگری را با لباس کار به اشتراک بگذارد، این عکس محاسبه می‌شود.

این روش های تشخیص نیز دقت 100 درصدی ندارند، بنابراین بهتر است اعداد زیر را به عنوان حداقل شمارش در نظر بگیرید.

در اینجا تعداد کل همه عکس‌های مربوط به هر مورد، همراه با نسبت همه عکس‌ها در آن سال کمپین آمده است:

این نشان می‌دهد که سیاستمداران بیشتر به فرصت عکس‌های خوش‌بینانه متمایل شده‌اند و از جذابیت وسیع سگ ناز استفاده می‌کنند. با این حال، بررسی‌های جدید در این دوره کمپین نسبتاً کمیاب است و توپ‌های فوتبال و سایر توپ‌های ورزشی در سال 2019 کاهش یافته است.

اکنون بیایید فقط به عکس‌های ارسال شده توسط رهبران احزاب اصلی – نخست وزیر، اسکات موریسون، و رهبر حزب کارگر، آنتونی آلبانیز نگاه کنیم. برای این مورد، ما با فید واقعی فیس بوک آنها برای هر عکسی که مدل های ما از دست داده بودند بررسی کردیم.

هر دو رهبر چند لحظه مبارزاتی را با سگ ها داشته اند، بنابراین هیچ شگفتی در آنجا وجود ندارد.

اما موریسون نسبت به آلبانی ها، شمارش سلام بیشتر دارد، علیرغم اینکه حزب کارگر معمولاً با کارگران یقه آبی همراه است.

این امکان وجود دارد که روزهای از دست رفته آلبانیز در مسیر کمپین به دلیل حساب Covid-19 به این دلیل باشد. با این حال، آیا ممکن است تغییر چهره آلبانیز و تعداد نسبی کاهش دید – کت و شلوارهای جدید، عینک و غیره – بخشی از یک استراتژی برای جذاب کردن رهبر حزب کارگر برای رهبران تجاری باشد؟ و آیا ممکن است برای موریسون برعکس باشد – آیا حزب تجارت برای رأی دهندگان خارج از پایگاه سنتی خود جذابیت بصری ایجاد می کند؟ این فقط حدس و گمان است، اما باید در نظر گرفت.

به گفته لوک مانسیلو، کاندیدای دکترای علوم سیاسی در دانشگاه سیدنی، این نوع فرصت های عکس راهی ارزان برای جلب توجه رأی دهندگان و بیان موضع یک سیاستمدار در مورد یک موضوع است.

او گفت: «سگ سیاستمدار را می لیسد» یک روش بسیار کم هزینه برای جلب توجه است، به جای پرداخت هزینه برای تبلیغات.

و رفتن به کارخانه‌ای که باعث می‌شود شما جلیقه‌ای بپوشید، یک نشانه کوتاه بصری بسیار سریع و بصری برای کسی است که همیشه به اخبار توجه نمی‌کند و فکر می‌کند که این حزب منافع افرادی مانند من را نمایندگی می‌کند. “

در نهایت، در اینجا 10 سیاستمدار برتر رتبه بندی شده بر اساس تعداد عکس های سلام و کلاه سخت منتشر شده در این مبارزات انتخاباتی آمده است:

بروک ویتنل، کاندیدای لیبرال برای پاترسون، که عکس هایی از تعدادی بازدید از کارخانه در رای دهندگان نیو ساوت ولز که در آن کمپین می کند، پست کرده است.

یادداشت ها و روش ها

عکس‌های فیس‌بوک برای تمام نمایندگان، نامزدها و سناتورهای حزب کارگر و ائتلاف برای دوره‌های تبلیغاتی ۲۰۱۹ و ۲۰۲۲ حذف شد. در سال 2022 این شامل عکس‌هایی است که تا 10 مه برای همه پست شده‌اند، به جز رهبران حزب، که ما آن‌ها را به 18 می به‌روزرسانی کرده‌ایم. در مقایسه سال‌های 2019 و 2022 چندین فرض مطرح شده است، از جمله اینکه مردم عکس‌ها را حذف نکرده‌اند و عموماً عکس‌ها را به یک شکل در هر دو سال به اشتراک می‌گذارند.

برای فرآیند یادگیری ماشینی تشخیص اشیا، از کتابخانه ImageAI Python استفاده کردیم که بر اساس TensorFlow است. برای هر یک از دسته‌های لباس کار، کلاه‌های سخت و چک‌های جدید، ما یک مدل تشخیص شی YOLOv3 سفارشی آموزش دادیم. Hi-vis بر اساس مجموعه داده های عمومی 800 عکس بود، در حالی که تشخیص سخت بر اساس مجموعه داده های عمومی 1500 عکس بود. برای آموزش مدل تشخیص چک، 310 تصویر از چک های غول پیکر را گردآوری و برچسب گذاری کردیم. سگ‌ها، توپ‌های ورزشی و افراد با استفاده از مدل RetinaNet که از قبل در مجموعه داده‌های Coco آموزش دیده بود شناسایی شدند.

آستانه تشخیص برای اشیاء کلیدی عملیات عکس به طور عمدی پایین تنظیم شد تا شانس یافتن بیشتر اشیا را افزایش دهد، با بازرسی بصری خروجی، موارد مثبت کاذب حذف شدند.