Metode pemrosesan gambar dalam program. Visi mesin. Apa itu dan bagaimana cara menggunakannya? Pemrosesan Gambar Sumber Optik

Tampaknya semua komputer itu sama dan dapat menyelesaikan masalah apa pun. Tapi ini tidak sepenuhnya benar. Pada abad yang lalu, arah komputer industri mulai aktif berkembang di industri komputer, berbeda dari rekan-rekan “kantor” mereka dalam desain mekanis yang lebih kompak dan tahan lama, kemampuan ekspansi yang luas (kartu input/output sinyal) dan masa pakai yang lama. sistem dan komponen yang membentuknya. Seiring waktu, spesialisasi yang lebih dalam terjadi, lini komputer industri diidentifikasi untuk area aplikasi tertentu - dengan demikian, untuk memecahkan masalah visi mesin secara efektif, muncul komputer dengan fungsi tambahan yang sangat memudahkan tugas insinyur pengembangan dan meningkatkan karakteristik operasional sistem (Gbr. .

Beras. 1. Klasifikasi komputer

Berikut ini hanya sebagian daftar persyaratan untuk bekerja dalam aplikasi visi mesin dan pengawasan video yang harus dipenuhi oleh peralatan:

antarmuka berkinerja tinggi untuk menghubungkan kamera GigE/PoE dan USB3 yang memenuhi standar internasional, slot ekspansi untuk memasang pengambil bingkai CameraLink atau CoaXpress;
berbagai pilihan prosesor dengan daya yang cukup dengan koprosesor grafis dan chipset berkinerja tinggi yang mampu memproses aliran data besar;
jalur digital yang mudah diprogram untuk menghubungkan sensor dan menyinkronkan kamera dan pencahayaan;
pemasangan beberapa, termasuk drive yang dapat dilepas dengan cepat, pengorganisasian susunan RAID untuk perekaman aliran video berkecepatan tinggi dan penyimpanan data dalam jumlah besar;
antarmuka industri untuk menghubungkan perangkat eksternal: RS-232/485, CAN;
Desain mekanis yang kokoh dan ringkas dengan komponen bergerak minimal untuk memastikan pengoperasian yang andal dan masa pakai yang lama dalam kondisi pengoperasian yang berat.

Jelasnya, di sebagian besar komputer industri, dan terlebih lagi di komputer kantor, banyak dari fungsi-fungsi ini yang mubazir, tetapi dalam sistem visi mesin, fungsi-fungsi ini sangat menentukan.

Salah satu perwakilan tren dalam industri komputer ini adalah Neousys Technologies (Taiwan), yang produknya sejak awal dirancang untuk bekerja dengan kamera visi komputer dan pengawasan video. Untuk lebih mengenal fitur platform komputasi untuk berbagai aplikasi, kami akan mendefinisikan bidang utama penerapan kamera video digital modern. Jadi, kita bisa membedakan beberapa kelompok aplikasi:

sistem visi mesin industri;
sistem pengenalan;
sistem kontrol lalu lintas cerdas (ITS);
sistem seluler dalam transportasi.

Sekarang mari kita lihat persyaratan sistem komputasi dalam setiap kasus.

Sistem visi mesin industri

Sistem visi mesin industri mungkin merupakan kelas sistem yang paling beragam dalam hal jumlah dan jenis tugas. Namun, fitur-fitur penting dapat disorot:

kemampuan untuk menghubungkan beberapa kamera;
kecepatan perekaman tinggi, hingga beberapa ratus frame per detik;
fungsionalitas yang kaya untuk mengontrol pengaturan kamera dan lampu latar;
kemungkinan sinkronisasi yang luas dengan sensor;
sejumlah besar perangkat penyimpanan untuk pengarsipan data.

Karena biasanya kamera terletak di sebelah komputer, antarmuka USB3 akan menjadi pilihan yang baik untuk menghubungkannya. Ini akan memberikan kekuatan pada kamera dan kemampuan untuk mengambil gambar dengan kecepatan dan resolusi tinggi (FullHD - lebih dari 150 fps).

Beras. 2. Komputer dari jalur ROS-200

Tugas tingkat pemula dapat dengan mudah ditangani oleh komputer yang berbasis pada prosesor quad-core Atom E3845 modern, yang antara lain dilengkapi dengan koprosesor grafis dan codec perangkat keras yang cukup kuat. Di lini Neousys, ini adalah seri POC-200 terlaris (Gbr. 2). Pengembang memiliki dua antarmuka GigE/PoE dan tiga USB3 berkecepatan tinggi. Casing ringkasnya dapat menampung (dan, jika perlu, dengan mudah mengganti) drive SATA HDD/SDD dengan format standar 2,5”. Untuk menghubungkan perangkat eksternal, disediakan sepasang port universal RS-232/485 selain dua RS-232 standar. Dan terakhir, beberapa jalur digital yang cepat dan mudah diprogram untuk menghubungkan tombol kontrol, sensor, dan mengeluarkan sinyal, misalnya ke kolom penolakan atau sinyal. Semua ini dikemas dalam wadah seperempat lembar A4 kompak yang dapat menahan beban hingga 5 Grms/500 Hz dengan kisaran suhu pengoperasian -25 °C (berdasarkan permintaan dari -45 °C).

Beras. 3. Komputer Nuvo 5000

Fitur dari semua komputer Neousys adalah adanya radiator padat sebagai bagian integral dari casingnya, yang merupakan konsekuensi dari desain mesin tanpa kipas. Prosesor ini benar-benar terpaku pada heatsink yang kuat. Pendekatan ini, meskipun memerlukan sedikit peningkatan pada berat dan dimensi produk, merupakan hasil kerja rekayasa yang serius untuk mencapai daya tahan dan kekuatan mekanik karena tidak adanya komponen yang berputar, yang menjadi salah satu penyebab paling mungkin kegagalan peralatan. . Perlu dicatat bahwa para pengembang komputer Neousys, selain tugas-tugas teknik murni, berhasil menciptakan produk dengan desain industri yang menarik.

Beras. 4. Komputer dari seri Nuvo-6000

Neousys Technologies telah belajar untuk bekerja tanpa kipas tidak hanya pada sistem dengan prosesor Intel Atom dan Celeron kelas bawah, tetapi juga dengan komputer eselon atas - Skylake generasi keenam i5/i7. Saat ini, komputer seri Nuvo 5000 andalan perusahaan, yang dianugerahi Vision Systems Innovators Awards 2016, mampu memecahkan masalah visi komputer yang paling kompleks. Dilengkapi dengan prosesor yang kuat, komputer Nuvo-5000 (Gbr. 3) mempertahankan dan mengembangkan kemampuan luar biasa dari lini bawah. Dalam casing yang diperbesar namun tetap kompak, Anda sudah dapat menampung dua drive 2,5” dan mengaturnya ke dalam susunan RAID 0/1, melengkapi salah satu drive dengan konektor hot-swappable. Jumlah port untuk menghubungkan kamera dapat dengan mudah ditingkatkan menjadi 10. Teknologi MezIO yang dipatenkan menawarkan mekanisme fleksibel untuk memperluas kemampuan input/output sinyal kontrol, indikasi, dan antarmuka komunikasi industri.

Beras. 5. Ruang ekspansi untuk memasang dua atau enam slot ekspansi (seri Nuvo-6000)

Dalam beberapa kasus, selain visi mesin itu sendiri, komputer harus memecahkan masalah otomasi industri klasik. Poin kuncinya di sini adalah kehadiran slot ekspansi PCI/PCIe. Untuk aplikasi seperti itu, pilihan terbaik adalah komputer seri Nuvo-6000 (Gbr. 4). Meskipun tetap merupakan komputer kompak tanpa kipas yang andal, mesin ini dilengkapi dengan kompartemen dengan dua atau enam slot ekspansi (Gbr. 5). Kompartemennya berisi kipas dan sistem kontrol untuk menciptakan kondisi pengoperasian yang nyaman untuk kartu I/O tertanam.

Sistem pengakuan

Beras. 6. Komputer Nuvo-5095

Untuk menjawab tantangan saat ini, sistem keamanan yang semakin canggih sedang diciptakan, di mana algoritma pengenalan menjadi elemen kuncinya. Selain sistem keamanan, teknologi ini memiliki aplikasi dalam proyek komersial, seperti mempelajari demografi konsumen di ritel, pemilahan sampah, dan aplikasi lainnya. Kamera visi mesin modern memberikan resolusi yang semakin tinggi dan kualitas gambar yang lebih baik. Resolusi FullHD (2 megapiksel) umum di segmen massal, 4K (12 megapiksel) mencoba sendiri dalam tugas yang paling rumit. Perlu dicatat bahwa volume data yang diproses tumbuh secara eksponensial. Untuk aplikasi yang paling menuntut, ditawarkan versi komputer Nuvo-5095 yang disesuaikan untuk pemasangan akselerator grafis nVidia (Gbr. 6). Namun di sini Anda tidak dapat melakukannya tanpa kipas untuk nVidia GeForce GTX 950 atau GTX 1050 yang dipasang di kaset ekspansi komputer. Pada saat yang sama, prosesor pusat masih puas dengan heatsink pasif. Bersama-sama, sistem dengan koprosesor grafis CUDA yang unik tetap beroperasi dalam kisaran suhu sekitar –25 hingga +60 °C (prosesor i7-6700TE, i5-6500TE, TDP 35W).

Sistem manajemen lalu lintas cerdas ITS

Sistem manajemen lalu lintas yang cerdas, khususnya yang dipasang di persimpangan yang sibuk, mungkin merupakan sistem yang paling menuntut dalam hal jumlah kamera yang terhubung. Penting untuk menerima dan memproses gambar yang dikirimkan dari beberapa titik pandang di satu tempat. Tugas penginstal disederhanakan oleh komputer industri dengan jumlah port yang lebih banyak dari biasanya untuk menghubungkan kamera. Biasanya, sistem seperti itu menggunakan kamera dengan antarmuka Ethernet/PoE. Jajaran Neousys mencakup model Nuvo-3616 yang memenuhi persyaratan ini, yang dilengkapi dengan 16 (!) port PoE+ IEEE 802.3at, empat drive dengan kemampuan untuk dengan cepat mengganti dan mengatur array RAID 0/1/5/10 dengan kapasitas hingga 8 TB.

Sistem seluler dalam transportasi

Beras. 7. Komputer yang dirancang untuk bekerja di kendaraan: Nuvo-5100VTC dan Nuvo-2500 (di latar belakang)

Kendaraan modern, terutama untuk keperluan komersial, baik itu truk, traktor, mesin pemanen gabungan atau lokomotif, kini banyak dilengkapi dengan sistem komputerisasi yang dirancang untuk meningkatkan keselamatan dan efisiensi pengoperasiannya. Selain fungsi yang telah dijelaskan, platform komputer yang dirancang untuk digunakan dalam transportasi harus memenuhi persyaratan yang lebih ketat dan memiliki antarmuka tambahan. Versi komputer Neousys 5100VTC dibuat khusus untuk aplikasi tersebut (Gbr. 7). Ia telah berhasil lulus sertifikasi internasional untuk aplikasi kereta api EN 50155. Selain fungsi standar komputer seri Nuvo-5000, ia dilengkapi dengan antarmuka untuk memantau sirkuit pengapian dan CAN, yang menyederhanakan pemasangannya di kendaraan modern. Versi khusus konektor Ethernet M12 meningkatkan keandalan sambungan kabel kamera dalam kondisi gemetar. Slot miniPCI tambahan dirancang untuk memasang modul sistem lokasi geografis GPS/GLONASS dan komunikasi seluler 3G/4G dengan slot eksternal yang nyaman untuk kartu SIM.

Untuk sistem otomotif dengan persyaratan yang lebih sederhana untuk kemampuan komputasi platform, versi komputer ringkas dengan kontrol pengapian dan antarmuka CAN - Nuvo-2500 berdasarkan prosesor quad-core Atom 3845 yang cukup kuat - sangat cocok.

Kesimpulannya, memilih platform yang tepat yang berisi semua komponen yang diperlukan untuk aplikasi visi mesin sangat menentukan kinerjanya dan keandalan algoritma pemrosesan gambar. Dan jika komputer kantor cukup cocok untuk membuat konten matematika, maka ketika mengoperasikan sistem, platform komputasi harus dipilih dengan cermat agar investasi dalam pengembangan perangkat lunak tidak sia-sia.

Sistem visi komputer Autovision II awal dari Automatics didemonstrasikan di sebuah pameran dagang pada tahun 1983. Kamera pada tripod diarahkan ke bawah ke meja dengan lampu latar untuk menghasilkan gambar yang jelas di layar, yang kemudian diperiksa apakah ada gumpalan.

Visi mesin adalah penerapan visi komputer untuk industri dan produksi. Meskipun visi komputer adalah seperangkat teknik umum yang memungkinkan komputer untuk melihat, bidang minat visi komputer sebagai disiplin ilmu teknik adalah perangkat input/output digital dan jaringan komputer yang dirancang untuk memantau peralatan manufaktur seperti lengan robot atau mesin ekstraksi. produk cacat. Visi mesin adalah subbidang teknik yang berkaitan dengan ilmu komputer, optik, teknik mesin, dan otomasi industri. Salah satu aplikasi visi mesin yang paling umum adalah pemeriksaan produk industri seperti chip semikonduktor, mobil, makanan, dan obat-obatan. Orang-orang yang bekerja di jalur perakitan memeriksa bagian-bagian produk, menarik kesimpulan tentang kualitas pengerjaan. Sistem visi mesin untuk tujuan ini menggunakan kamera digital dan pintar, serta perangkat lunak pengolah gambar untuk melakukan pemeriksaan serupa.

YouTube ensiklopedis

1 / 3

Visi komputer

Cara kerja visi komputer

Subtitle

Perkenalan

Sistem visi mesin diprogram untuk melakukan tugas-tugas yang sangat terspesialisasi, seperti menghitung objek di jalur perakitan, membaca nomor seri, atau mencari cacat permukaan. Keuntungan dari sistem inspeksi visual berbasis visi mesin mencakup kecepatan pengoperasian yang tinggi dengan perputaran yang meningkat, kemampuan pengoperasian 24 jam, dan akurasi pengukuran yang dapat diulang. Selain itu, keunggulan mesin dibandingkan manusia adalah tidak adanya kelelahan, penyakit, atau kurangnya perhatian. Namun, manusia memiliki persepsi yang baik dalam waktu singkat dan fleksibilitas yang lebih besar dalam mengklasifikasikan dan beradaptasi untuk mencari cacat baru.

Komputer tidak dapat “melihat” dengan cara yang sama seperti manusia. Kamera tidak setara dengan sistem penglihatan manusia, dan meskipun manusia dapat mengandalkan tebakan dan asumsi, sistem penglihatan mesin harus "melihat" dengan memeriksa masing-masing piksel dalam sebuah gambar, memprosesnya, dan mencoba menarik kesimpulan menggunakan basis pengetahuan dan serangkaian fungsi. seperti pengenalan pola perangkat. Meskipun beberapa algoritme visi komputer telah dikembangkan untuk meniru persepsi visual manusia, sejumlah besar metode unik telah dikembangkan untuk memproses gambar dan menentukan properti gambar yang relevan.

Komponen Sistem Visi

Meskipun visi mesin adalah proses penerapan visi komputer pada aplikasi industri, ada gunanya membuat daftar komponen perangkat keras dan perangkat lunak yang umum digunakan. Solusi sistem visi mesin pada umumnya mencakup beberapa komponen berikut:

Satu atau lebih kamera digital atau analog (hitam putih atau berwarna) dengan optik yang sesuai untuk mengambil gambar
Perangkat lunak untuk menghasilkan gambar untuk diproses. Untuk kamera analog, ini adalah digitizer gambar
Prosesor (PC modern dengan prosesor multi-core atau prosesor internal, misalnya - DSP)
Perangkat lunak visi komputer yang menyediakan alat untuk mengembangkan aplikasi perangkat lunak individual.
Peralatan input/output atau saluran komunikasi untuk melaporkan temuan
Kamera pintar: satu perangkat yang mencakup semua poin di atas.
Sumber cahaya yang sangat khusus (LED, lampu neon dan halogen, dll.)
Aplikasi perangkat lunak khusus untuk pemrosesan gambar dan deteksi properti terkait.
Sensor untuk menyinkronkan bagian deteksi (sering kali berupa sensor optik atau magnetik) untuk pengambilan dan pemrosesan gambar.
Drive dengan bentuk tertentu yang digunakan untuk menyortir atau membuang bagian yang rusak.

Sensor pengatur waktu mendeteksi kapan bagian yang sering bergerak pada konveyor berada dalam posisi untuk diperiksa. Sensor memicu kamera untuk mengambil gambar bagian yang lewat di bawah kamera dan sering kali disinkronkan dengan pulsa cahaya untuk menangkap gambar yang jelas. Pencahayaan yang digunakan untuk menyorot fitur dirancang untuk menyorot fitur yang menarik dan menyembunyikan atau meminimalkan tampilan fitur yang tidak menarik (seperti bayangan atau pantulan). Panel LED dengan ukuran dan lokasi yang sesuai sering digunakan untuk tujuan ini.

Gambar dari kamera masuk ke dalam frame grabber atau ke dalam memori komputer pada sistem di mana frame grabber tidak digunakan. Pengambil bingkai adalah perangkat digitalisasi (baik sebagai bagian dari kamera pintar atau sebagai papan terpisah di komputer) yang mengubah output dari kamera menjadi format digital (biasanya berupa susunan angka dua dimensi yang sesuai dengan tingkat intensitas cahaya. titik tertentu dalam bidang pandang, disebut piksel ) dan menempatkan gambar dalam memori komputer sehingga dapat diproses menggunakan perangkat lunak computer vision.

Perangkat lunak biasanya memerlukan beberapa langkah untuk memproses gambar. Seringkali gambar diproses terlebih dahulu untuk mengurangi noise atau mengubah banyak corak abu-abu menjadi kombinasi sederhana hitam dan putih (binarisasi). Setelah pemrosesan awal, program akan menghitung, mengukur dan/atau mengidentifikasi objek, ukuran, cacat, dan karakteristik lain dari gambar. Sebagai langkah terakhir, program meneruskan atau menolak bagian tersebut sesuai dengan kriteria yang ditentukan. Jika ada bagian yang rusak, perangkat lunak memberi sinyal pada perangkat mekanis untuk menolak bagian tersebut; Skenario lainnya adalah sistem dapat menghentikan jalur produksi dan memperingatkan pekerja manusia untuk memecahkan masalah dan melaporkan penyebab kegagalan tersebut.

Meskipun sebagian besar sistem visi mesin mengandalkan kamera "hitam putih", penggunaan kamera berwarna menjadi lebih umum. Selain itu, sistem penglihatan semakin banyak yang menggunakan kamera digital sambungan langsung dibandingkan kamera dengan pengambil bingkai terpisah, sehingga mengurangi biaya dan menyederhanakan sistem.

Kamera pintar dengan prosesor internal menangkap pangsa pasar visi mesin yang semakin meningkat. Penggunaan prosesor tertanam (dan sering kali dioptimalkan) menghilangkan kebutuhan akan kartu pengambil bingkai dan komputer eksternal, mengurangi biaya dan kompleksitas sistem sekaligus menyediakan kekuatan pemrosesan untuk setiap kamera. Kamera pintar umumnya lebih murah dibandingkan sistem yang terdiri dari kamera, daya, dan/atau komputer eksternal, sementara meningkatkan daya prosesor internal dan DSP seringkali dapat mencapai kinerja yang sebanding atau lebih baik serta kemampuan yang lebih besar dibandingkan sistem PC konvensional.

Metode pengolahan

Paket perangkat lunak visi komputer komersial dan sumber terbuka biasanya mencakup serangkaian teknik pemrosesan gambar, seperti:

Penghitung Piksel: Menghitung jumlah piksel terang atau gelap
Binarisasi: Mengubah gambar skala abu-abu menjadi biner (piksel putih dan hitam)
Segmentasi: digunakan untuk mencari dan/atau menghitung bagian
- Penemuan dan Analisis Blob: Memeriksa gambar untuk setiap gumpalan piksel yang terhubung (seperti lubang hitam pada objek abu-abu) sebagai titik referensi gambar. Gumpalan ini sering kali mewakili target pemrosesan, penangkapan, atau cacat produksi.
- Pengenalan pola yang kuat: mencari pola suatu objek yang mungkin diputar, sebagian tersembunyi oleh objek lain, atau berbeda ukurannya.
Pembacaan barcode: menguraikan kode 1D dan 2D yang dirancang untuk dibaca atau dipindai oleh mesin
Pengenalan karakter optik: pembacaan teks otomatis seperti nomor seri
Pengukuran: Mengukur ukuran benda dalam inci atau milimeter
Deteksi Tepi: Menemukan tepi objek
Pencocokan pola: mencari, mencocokkan, dan/atau menghitung pola tertentu

Dalam kebanyakan kasus, sistem visi mesin menggunakan kombinasi berurutan dari metode pemrosesan ini untuk melakukan pemeriksaan lengkap. Misalnya, sistem yang membaca barcode juga dapat memeriksa permukaan apakah ada goresan atau kerusakan dan mengukur panjang dan lebar komponen yang sedang diproses.

Aplikasi Visi Mesin

Penerapan visi mesin bervariasi dan mencakup berbagai bidang aktivitas, termasuk namun tidak terbatas pada hal berikut:

Produksi industri besar
Percepatan produksi produk unik
Sistem keselamatan di lingkungan industri
Pengendalian objek pra-fabrikasi (misalnya pengendalian kualitas, investigasi kesalahan)
Kontrol visual dan sistem manajemen (akuntansi, pembacaan barcode)
Pengendalian kendaraan otomatis
Kontrol kualitas dan inspeksi makanan

Dalam industri otomotif, sistem visi mesin digunakan untuk memandu robot industri, serta untuk memeriksa permukaan cat kendaraan, las, blok mesin, dan banyak komponen lainnya untuk mengetahui adanya cacat.

UDC 004.93"1

Visi mesin

Tatyana Vadimovna Petrova, grup 4241/3

Visi mesin adalah penerapan visi komputer pada industri dan manufaktur. Bidang minat visi mesin adalah perangkat input/output digital dan jaringan komputer untuk memantau peralatan produksi. Visi mesin memiliki beberapa keunggulan dibandingkan visi manusia. Oleh karena itu, penting untuk mengembangkan bidang ilmu ini. Ulasan ini menjelaskan tentang sejarah perkembangan computer vision, komponen-komponen sistem computer vision, penerapan computer vision dan masa depan bidang ilmu tersebut.

Perkenalan

produksi visi mesin komputer

Seseorang menerima sebagian besar informasi tentang dunia luar melalui saluran visual dan kemudian memproses informasi yang diterima dengan sangat efektif menggunakan peralatan analisis dan interpretasi informasi visual. Oleh karena itu, timbul pertanyaan tentang kemungkinan implementasi mesin dari proses ini.

Karena semakin kompleksnya masalah ilmiah dan teknis yang harus diselesaikan, pemrosesan otomatis dan analisis informasi visual menjadi masalah yang semakin mendesak. Teknologi ini digunakan dalam bidang ilmu pengetahuan dan teknologi yang sangat dicari, seperti otomatisasi proses, peningkatan produktivitas, peningkatan kualitas produk manufaktur, pengendalian peralatan produksi, sistem robot cerdas, sistem kendali untuk pergerakan kendaraan, penelitian biomedis dan banyak lainnya. . Selain itu, kita dapat mengatakan bahwa keberhasilan bisnis modern terutama didasarkan pada kualitas produk yang ditawarkan. Dan untuk memastikan hal ini, jika kita berbicara tentang produksi materi, diperlukan kontrol visual.

Selanjutnya kita akan menggunakan istilah "visi mesin" sebagai konsep yang paling mencakup seluruh rangkaian teknologi rekayasa, metode dan algoritma yang terkait dengan tugas menafsirkan informasi visual, serta penggunaan praktis dari hasil interpretasi ini.

1. Sejarah perkembangan visi mesin

Visi komputer muncul sebagai disiplin independen pada akhir tahun 60an. Arah ini muncul dalam kerangka kecerdasan buatan pada saat masih terjadi perdebatan sengit tentang kemungkinan terciptanya mesin berpikir. Itu muncul dari pekerjaan pada pengenalan pola. [Zueva, 2008]

Sejarah singkat perkembangan machine vision disajikan pada Gambar 1.

Beras. 1. Sejarah visi mesin

Dalam sejarah perkembangan visi mesin, tahapan berikut dapat dibedakan:

· 1955 - Profesor Oliver Selfridge dari Institut Teknologi Massachusetts (MIT) menerbitkan artikel “Mata dan Telinga untuk Komputer.” Di dalamnya, penulis mengemukakan ide teoritis untuk melengkapi komputer dengan alat pengenalan suara dan gambar.

· 1958 - psikolog Frank Rosenblatt dari Cornell University menciptakan implementasi komputer dari perceptron (dari persepsi - persepsi) - perangkat yang mensimulasikan sirkuit pengenalan pola otak manusia. Perceptron pertama kali dimodelkan pada tahun 1958, dan pelatihannya memerlukan sekitar setengah jam waktu komputer pada komputer IBM-704. Versi perangkat keras - Mark I Perceptron - dibuat pada tahun 1960 dan dimaksudkan untuk pengenalan gambar visual [Visi Komputer, 2010] .

Namun, pertimbangan masalah visi komputer agak spekulatif, karena belum tersedia teknologi maupun dukungan matematis untuk memecahkan masalah rumit tersebut.

· 1960-an - munculnya sistem perangkat lunak pertama untuk pemrosesan gambar (terutama untuk menghilangkan noise dari foto yang diambil dari pesawat terbang dan satelit), penelitian terapan di bidang pengenalan karakter cetakan mulai berkembang. Namun demikian, masih terdapat keterbatasan dalam pengembangan bidang ilmu ini, seperti kurangnya sistem input data optik yang murah, keterbatasan dan spesialisasi sistem komputasi yang agak sempit. Pesatnya perkembangan sistem visi komputer sepanjang tahun 60an dapat dijelaskan dengan meluasnya penggunaan komputer dan kebutuhan yang jelas akan komunikasi manusia-komputer yang lebih cepat dan efisien. Pada awal tahun 60an, masalah visi komputer terutama mencakup bidang penelitian luar angkasa, yang memerlukan pemrosesan informasi digital dalam jumlah besar.

· 1970-an - Lawrence Roberts, seorang mahasiswa pascasarjana di MIT, mengemukakan konsep konstruksi mesin gambar tiga dimensi suatu objek berdasarkan analisis gambar dua dimensinya. Pada tahap ini, analisis data yang lebih mendalam dimulai. Berbagai pendekatan dalam mengenali objek pada suatu gambar mulai berkembang, seperti struktur, ciri, dan tekstur.

· 1979 - Profesor Hans-Helmut Nagel dari Universitas Hamburg meletakkan dasar teori analisis pemandangan dinamis, yang memungkinkan pengenalan objek bergerak dalam aliran video.

· Pada akhir tahun 1980-an, robot diciptakan yang mampu menilai dunia di sekitar mereka secara memuaskan dan secara mandiri melakukan tindakan di lingkungan alam

· Tahun 80an dan 90an ditandai dengan munculnya sensor generasi baru untuk bidang informasi digital dua dimensi dengan berbagai sifat fisik. Perkembangan sistem pengukuran baru dan metode untuk merekam bidang informasi digital dua dimensi secara real time telah memungkinkan diperolehnya gambar dengan kestabilan waktu yang dihasilkan oleh sensor ini untuk dianalisis. Peningkatan teknologi produksi sensor ini telah memungkinkan pengurangan biaya secara signifikan, dan oleh karena itu memperluas cakupan penerapannya secara signifikan.

· Sejak awal tahun 90-an, dalam aspek algoritmik, urutan tindakan pemrosesan gambar telah dipertimbangkan sesuai dengan apa yang disebut paradigma modular. Paradigma ini, yang dikemukakan oleh D. Marr berdasarkan studi jangka panjang tentang mekanisme persepsi visual manusia, berpendapat bahwa pemrosesan gambar harus didasarkan pada beberapa tingkat yang berurutan dari garis informasi menaik: dari representasi objek yang “ikonik” (gambar raster, informasi tidak terstruktur) hingga representasi simbolisnya (data vektor dan atribut dalam bentuk terstruktur, struktur relasional, dll.). [Visilter dkk., 2007]

· Pada pertengahan tahun 90an, sistem navigasi kendaraan otomatis komersial pertama kali muncul. Sarana analisis gerakan komputer yang efektif dikembangkan pada akhir abad ke-20.

· 2003 - sistem pengenalan wajah perusahaan pertama yang cukup andal diluncurkan ke pasar.

2. Masalah visi komputer dan bidang penerapannya

2.1 Definisi “visi mesin”

Visi mesin adalah penerapan visi komputer pada industri dan manufaktur. Bidang minat visi mesin sebagai bidang teknik adalah perangkat input/output digital dan jaringan komputer yang dirancang untuk memantau peralatan produksi seperti lengan robot atau perangkat pengambilan produk yang cacat.

Visi mesin adalah studi tentang metode dan teknik dimana sistem penglihatan buatan dapat dibangun dan digunakan secara berguna dalam aplikasi praktis. Dengan demikian, ia mencakup sains dan rekayasa visi .

Kajiannya tidak hanya mencakup perangkat lunak tetapi juga lingkungan perangkat keras dan teknik akuisisi gambar yang diperlukan untuk menerapkannya. Oleh karena itu, ini berbeda dengan visi komputer, yang muncul di sebagian besar buku tentang subjek ini mungkin desain perangkat lunak, tanpa terlalu banyak perhatian pada apa yang masuk ke dalam sistem penglihatan terintegrasi (walaupun buku-buku modern tentang visi komputer biasanya menjelaskan cukup banyak tentang "realitas buruk" penglihatan, seperti penghapusan kebisingan dan analisis oklusi).

2.2 Visi mesin saat ini.

Saat ini, terdapat batasan yang jelas antara apa yang disebut visi komputer monokuler dan binokular. Bidang pertama meliputi penelitian dan pengembangan di bidang computer vision yang berkaitan dengan informasi yang berasal dari satu kamera atau dari masing-masing kamera secara terpisah. Area kedua mencakup penelitian dan pengembangan yang berhubungan dengan informasi yang diterima secara bersamaan dari dua kamera atau lebih. Beberapa kamera dalam sistem tersebut digunakan untuk mengukur kedalaman observasi. Sistem ini disebut sistem stereo.

Hingga saat ini, teori visi komputer telah berkembang sepenuhnya sebagai cabang sibernetika yang independen, berdasarkan basis pengetahuan ilmiah dan praktis. Setiap tahun ratusan buku dan monografi diterbitkan mengenai topik ini, puluhan konferensi dan simposium diadakan, dan berbagai perangkat lunak dan perangkat keras diproduksi. Ada sejumlah organisasi ilmiah dan publik yang mendukung dan meliput penelitian di bidang teknologi modern, termasuk teknologi visi komputer.

2.3. Tugas utama visi komputer

Secara umum, tugas sistem visi komputer meliputi memperoleh gambar digital, memproses gambar untuk menyorot informasi penting dalam gambar, dan analisis matematis dari data yang diperoleh untuk memecahkan masalah yang diberikan.

Namun, visi komputer memungkinkan Anda memecahkan banyak masalah, yang dapat dibagi menjadi empat kelompok (Gbr. 2) [Lysenko, 2007] :

Gambar.2. Tugas visi komputer

· Pengenalan posisi

Tujuan dari computer vision pada aplikasi ini adalah untuk menentukan letak spasial (letak suatu benda relatif terhadap sistem koordinat luar) atau posisi statis suatu benda (berapa posisi benda tersebut relatif terhadap sistem koordinat dengan suatu titik acuan. di dalam objek itu sendiri) dan mentransfer informasi tentang posisi dan orientasi objek ke sistem kendali atau pengontrol.
Contoh penerapannya adalah robot bongkar muat yang bertugas memindahkan benda-benda dalam berbagai bentuk ke luar silo. Tugas cerdas dari visi mesin adalah, misalnya, menentukan sistem koordinat referensi optimal dan pusatnya untuk melokalisasi pusat gravitasi suatu bagian. Informasi yang diperoleh memungkinkan robot untuk menangkap bagian tersebut dengan benar dan memindahkannya ke lokasi yang tepat.

Pengukuran

Dalam aplikasi jenis ini, tugas utama kamera video adalah mengukur berbagai parameter fisik suatu objek.
Contoh parameter fisika antara lain dimensi linier, diameter, kelengkungan, luas, tinggi dan besaran. Contoh pelaksanaan tugas ini adalah pengukuran berbagai diameter leher botol kaca.

Inspeksi

Dalam aplikasi inspeksi, tujuan dari visi mesin adalah untuk memastikan sifat-sifat tertentu, seperti ada tidaknya label pada botol, baut untuk operasi perakitan, coklat di dalam kotak, atau adanya berbagai cacat.

Identifikasi

Dalam tugas identifikasi, tujuan utama kamera video adalah membaca berbagai kode (kode batang, kode 2D, dll.) agar dapat dikenali oleh kamera atau pengontrol sistem, serta untuk menentukan berbagai sebutan alfanumerik. Selain itu, tugas kelompok ini mencakup sistem yang melakukan tugas keamanan, seperti identifikasi pribadi dan peralatan, detektor gerakan.

Berdasarkan masalah yang dipecahkan oleh visi mesin, banyak area penerapan visi mesin dapat diidentifikasi. Namun, perlu dicatat bahwa struktur permintaan saat ini ditentukan oleh masih terbatasnya kemampuan sistem visi mesin modern.

Di bawah ini adalah struktur permintaan pasar berdasarkan topik proyek (Gbr. 3) [Bobrovsky, 2004] :

Gambar.3. Struktur permintaan pasar

· 50% dari semua sistem visi mesin digunakan untuk tugas kendali mutu, yaitu memutuskan inspeksi tugas visi komputer. Hal ini terutama merupakan kontrol visual atas proses perakitan, warna dan kualitas permukaan produk, penampilan dan kebersihan kemasan, kebenaran dan keterbacaan label, level cairan di semua jenis wadah, dll. Sekitar 10% dari tugas ini dilakukan oleh sistem penglihatan tiga dimensi. Area terpisah dalam penggunaan sistem visi mesin dalam produksi adalah melakukan semua jenis pengukuran visual parameter proses teknologi dan, khususnya, menentukan ukuran objek, mis. pemecahan masalah pengukuran .

· 20% permintaannya adalah sistem visi mesin untuk proyek otomasi produksi dan implementasi robot industri. Sistem visi mesin seperti itu menyederhanakan berbagai jenis aktivitas presisi tinggi (perakitan dan pembongkaran, pengemasan, pengecatan, pengelasan, pembuangan), memfasilitasi pengangkutan barang, dan digunakan dalam sistem akuntansi, pelabelan, registrasi, dan penyortiran. Juga inspeksi tujuan dan sasaran lokasi untuk pengoperasian robot yang benar.

· 17% dari seluruh penjualan sistem visi mesin terdiri dari sistem OCR/OCV yang terkenal dan berkinerja baik untuk mengenali karakter cetak dan kode batang. Solusi masalah identifikasi .

· Pasar sistem visi mesin untuk robot non-produksi (hiburan, rumah tangga, penelitian) adalah 13%.

2.4 Aplikasi utama visi mesin

Dalam artikel Bobrovsky “Saat mesin mulai melihat cahaya” [Bobrovsky, 2004] Statistik berikut disajikan untuk area di mana sistem visi mesin dibutuhkan:

· Sebagian kecil pasar jatuh pada sistem realitas virtual yang menawarkan antarmuka manusia-komputer baru secara kualitatif berdasarkan pengenalan wajah dan gerakan, sistem yang menyediakan tugas keamanan, analisis semantik data multimedia, dll.

· Sistem visi komputer juga dibutuhkan dalam robotika. Para ahli percaya bahwa teknologi visi mesin adalah cara termudah untuk mengajarkan perangkat untuk beroperasi secara mandiri di alam.

· Permintaan yang signifikan terlihat dari organisasi pertanian, yang memerlukan otomatisasi inspeksi visual dan penyortiran produk, namun sejauh ini sistem visi mesin menunjukkan hasil yang kurang memuaskan di bidang ini.

· Ada peningkatan minat terhadap sistem visi mesin dari perusahaan nanoteknologi, perusahaan bioteknologi, dan bidang medis (analisis otomatis gambar medis - sinar-X, tomografi, ultrasound)

· Visi komputer juga dibutuhkan di bidang sistem keamanan (identifikasi pribadi, pendeteksi gerakan, pengenalan dan pelacakan objek bergerak, pengenalan plat nomor, dll.);

· Sistem visi komputer sangat dibutuhkan di bidang pengendalian mutu dan pemeriksaan produk makanan (saat ini, penilaian kualitas biskuit di lini kembang gula dilakukan dengan kecepatan 60 kue per detik), serta di bidang kontrol dan manajemen visual (akuntansi, pembacaan kode batang).

· Visi komputer digunakan dalam sistem pengenalan teks tulisan tangan dan cetak.

3. Komponen teknis dari visi mesin

3.1 Metode pemrosesan gambar

Dalam sistem visi komputer, berbagai teknologi dan metode digunakan untuk memecahkan masalah ini. Berikut ini adalah metode pemrosesan gambar utama:

· Penghitung piksel: Menghitung jumlah piksel terang atau gelap dan, berdasarkan hasilnya, menarik kesimpulan yang diperlukan tentang gambar.

· Menyoroti Area Terkait: Area gambar yang terhubung, di satu sisi, merupakan jenis objek yang masih sangat erat kaitannya dengan gambar raster, dan pada saat yang sama, sudah menjadi semacam unit semantik independen yang memungkinkan geometri lebih lanjut , analisis gambar logis, topologi, dan lainnya

· Binarisasi: Mengubah gambar skala abu-abu menjadi biner (piksel putih dan hitam).

· Pemrosesan histogram dan histogram: Histogram mencirikan frekuensi kemunculan piksel dengan kecerahan yang sama pada gambar.

· Segmentasi: Digunakan untuk mencari dan/atau menghitung bagian. Segmentasi citra adalah pembagian suatu citra ke dalam area-area yang berbeda dalam beberapa hal. Diasumsikan bahwa luasnya sesuai dengan benda nyata, atau bagian-bagiannya, dan batas-batas luasnya sesuai dengan batas-batas benda tersebut.

· Membaca Barcode: mendekode kode 1D dan 2D yang dirancang untuk dibaca atau dipindai oleh mesin

· Pengenalan Karakter Optik: pembacaan teks otomatis, seperti nomor seri

· Pengukuran: mengukur ukuran benda dalam inci atau milimeter

· Pencocokan pola: pencarian, pemilihan, dan/atau penghitungan model tertentu

· Algoritma invarian pencocokan fitur titik dalam gambar: mendeteksi dan mencocokkan fitur titik dalam gambar.

· Metode untuk mengidentifikasi seseorang melalui iris mata

· Berbagai metode untuk merekonstruksi bentuk suatu objek dari gambar

3.2 Komponen sistem

Sistem visi mesin pada umumnya terdiri dari satu atau lebih kamera digital atau analog (hitam putih atau berwarna) dengan optik yang sesuai untuk akuisisi gambar, penerangan dan subjek (Gambar 4), peralatan input/output, atau tautan komunikasi untuk melaporkan temuan. Selain itu, komponen perangkat lunak sistem visi mesin juga penting, yaitu perangkat lunak untuk menyiapkan gambar untuk diproses (untuk kamera analog ini adalah digitizer gambar), aplikasi perangkat lunak khusus untuk pemrosesan gambar, dan mendeteksi properti terkait.

Gambar.4. Komposisi sistem visi mesin yang khas

Matriks elemen sensitif, yang disertakan dalam kamera video, dirancang untuk memperoleh gambar digital. Matriks elemen penginderaan mencakup banyak konverter analog-ke-digital yang dirancang untuk mengubah informasi intensitas cahaya menjadi nilai digital.

Lensa Memungkinkan kamera untuk fokus pada jarak tertentu dan memperoleh gambar subjek yang jelas. Jika objek berada di luar panjang fokus, gambar menjadi buram (buram, tepinya tidak jelas), sehingga mengganggu kemampuan memproses rekaman video. Berbeda dengan kamera digital konvensional dengan lensa yang mendukung fungsi fokus otomatis, visi mesin menggunakan optik dengan panjang fokus tetap atau penyesuaian fokus manual. Ada berbagai jenis lensa untuk berbagai aplikasi (standar, teleskopik, sudut lebar, zoom, dan lainnya), dan memilih jenis optik yang tepat merupakan langkah penting saat merancang sistem visi mesin.

Lampu latar- elemen penting lainnya dalam visi mesin. Dengan menggunakan berbagai jenis pencahayaan, Anda dapat memperluas jangkauan tugas yang diselesaikan oleh visi mesin. Ada berbagai jenis lampu latar, namun yang paling populer adalah LED karena kecerahannya yang tinggi. Pada saat yang sama, tingkat perkembangan teknologi LED saat ini memastikan masa pakai perangkat yang lama dan konsumsi daya yang rendah.

3.3. Prinsip pengoperasian sistem visi mesin

Urutan tindakan yang dilakukan oleh sistem visi mesin dapat direpresentasikan sebagai berikut:

Gambar.5. Urutan tindakan sistem visi mesin

Gambar yang diterima dari kamera berakhir di frame grabber atau di memori komputer. Pengambil bingkai adalah perangkat yang mengubah keluaran kamera menjadi format digital (biasanya berupa susunan angka dua dimensi) dan menempatkan gambar dalam memori komputer sehingga dapat diproses oleh perangkat lunak visi komputer.

Perangkat lunak biasanya memerlukan beberapa langkah untuk memproses gambar. Seringkali gambar diproses terlebih dahulu untuk mengurangi noise atau mengubah banyak corak abu-abu menjadi kombinasi sederhana hitam dan putih (binarisasi). Setelah pemrosesan awal, program akan menghitung, mengukur dan/atau mengidentifikasi objek, ukuran, cacat, dan karakteristik lain dari gambar. Sebagai langkah terakhir, program meneruskan atau menolak bagian tersebut sesuai dengan kriteria yang ditentukan. Jika ada bagian yang rusak, perangkat lunak memberi sinyal pada perangkat mekanis untuk menolak bagian tersebut; Skenario lainnya adalah sistem dapat menghentikan jalur produksi dan mengingatkan pekerja manusia untuk memecahkan masalah dan penyebab kegagalan. Meskipun sebagian besar sistem visi mesin mengandalkan kamera "hitam putih", penggunaan kamera berwarna menjadi lebih umum. Selain itu, sistem penglihatan semakin banyak yang menggunakan kamera digital sambungan langsung dibandingkan kamera dengan pengambil bingkai terpisah, sehingga mengurangi biaya dan menyederhanakan sistem.

4. Bidang terkait

Visi mesin mengacu pada rekayasa sistem visualisasi otomatis dalam industri dan manufaktur, dan dengan demikian visi mesin dikaitkan dengan berbagai bidang ilmu komputer: visi komputer, peralatan kontrol, basis data, sistem jaringan, dan pembelajaran mesin.

Jangan bingung antara visi mesin dan visi komputer. Visi komputer adalah bidang studi yang lebih umum, sedangkan visi mesin adalah disiplin ilmu teknik yang berkaitan dengan masalah manufaktur.

Mari kita lihat lebih dekat ilmu-ilmu terkait dan interaksinya dengan visi mesin.

4.1. Visi komputer

Visi komputer adalah disiplin ilmu yang mempelajari teori dan algoritma dasar untuk menganalisis gambar dan pemandangan.

Visi mesin harus dianggap sebagai bidang pengetahuan ilmiah dan teknik yang jauh lebih kompleks dan berteknologi, yang mencakup semua masalah pengembangan sistem praktis: pilihan skema pencahayaan untuk pemandangan yang diteliti, pilihan karakteristik sensor, jumlah dan lokasinya. geometri, masalah kalibrasi dan orientasi, pilihan atau pengembangan peralatan untuk digitalisasi dan pemrosesan prosesor, pengembangan algoritma itu sendiri dan implementasi komputernya - yaitu, seluruh rangkaian tugas terkait.

Selain itu, muncul konsep robot vision. Ini adalah area yang lebih sempit dari teknologi visi komputer, yaitu bagian yang memastikan berfungsinya sistem visi mesin dalam batasan waktu yang ketat. Misalnya, dengan melengkapi robot generasi baru dengan kamera ponsel dan algoritma penglihatan stereo, banyak perusahaan berupaya menciptakan robot cerdas yang tidak hanya dapat dengan bebas menavigasi apartemen dan mengenali pemiliknya, tetapi juga melakukan tugas-tugas tertentu berdasarkan perintah yang diberikan dari jarak jauh.

4.2. Pemrosesan dan analisis gambar

Pengolahan citra adalah segala bentuk pemrosesan informasi yang data masukannya berupa gambar, seperti foto atau bingkai video. Pengolahan citra dapat dilakukan baik untuk memperoleh citra keluaran maupun untuk memperoleh informasi lainnya (misalnya pengenalan teks, penghitungan jumlah dan jenis sel pada bidang mikroskop, dan lain-lain). Selain gambar 2D statis, Anda juga perlu mengolah gambar yang berubah seiring waktu, seperti video.

Baru-baru ini, istilah tradisional " pemrosesan gambar" lebih sering digunakan bukan sebagai sebutan suatu disiplin ilmu, tetapi sebagai penunjuk suatu bidang studi. Ada juga kecenderungan untuk menggunakan istilah ini untuk merujuk pada pemrosesan tingkat rendah, di mana hasil pemrosesan gambar kembali berupa gambar. Pada saat yang sama, istilahnya memahami gambar» digunakan untuk pemrosesan tingkat atas.

Fotogrametri digital, sebuah disiplin ilmu yang berkembang pesat dalam beberapa tahun terakhir, telah menggantikan fotogrametri analitik. Sementara fotogrametri analitik klasik terutama mempelajari hubungan metrik antara titik-titik gambar dan pemandangan nyata, fotogrametri digital modern menimbulkan tugas analisis yang paling kompleks dan deskripsi 3D pemandangan dari data video dari sensor optik. Fotogrametri digital tidak fokus terutama pada masalah "pemahaman" pemandangan atau deteksi objek, dan masalah pengukuran presisi tinggi dari berbagai elemennya dan rekonstruksi bentuk permukaan tiga dimensi menggunakan pemotretan stereo dan multi-kamera, serta pencahayaan terstruktur khusus.

4.3. Pembelajaran mesin

Pembelajaran mesin adalah subbidang kecerdasan buatan yang luas yang mempelajari metode untuk membangun algoritma yang dapat dipelajari. Tujuan pembelajaran mesin adalah otomatisasi sebagian atau seluruhnya dalam memecahkan masalah profesional yang kompleks di berbagai bidang aktivitas manusia. Pembelajaran mesin memiliki beragam aplikasi, di antaranya adalah pengenalan gambar, area yang menjadi fokus visi komputer.

5. Contoh paling menarik dari sistem visi mesin

5.1. Pengawasan video

Sistem pengawasan video otomatis dan otomatis adalah salah satu komponen kunci dari sistem keamanan terintegrasi modern. Tugas pengawasan video melibatkan pemantauan visual pada area tertentu menggunakan satu atau lebih kamera video, memungkinkan Anda menyimpan dan melihat data video digital, serta terus menilai keadaan wilayah yang dikendalikan, menyoroti apa yang disebut keamanan. acara.

Pengawasan video keamanan saat ini memiliki dua bidang pengembangan yang paling penting - transisi lengkap ke sistem pengawasan video digital dan pengembangan fungsi analisis video. Pengawasan video digital (IP) melibatkan pengabaian kamera analog dan media transmisi data. Analisis video mewakili pengembangan fungsi sistem pengawasan video, yang memungkinkan untuk mengurangi jumlah data yang direkam.

Sistem pengawasan video modern mencakup sejumlah besar teknologi visi komputer yang berbeda. Teknologi pengawasan video cerdas harus mencakup elemen utama dan modul perangkat lunak dan algoritmik berikut:

Sensor visual dari berbagai jenis untuk pengawasan video jarak jauh

Alat untuk pengumpulan informasi terdistribusi, kompresi, pemrosesan dan transmisi informasi video digital melalui jaringan lokal dan global secara real time

Pemilihan objek yang menarik secara otomatis (orang, kendaraan, objek lainnya)

· Pelacakan otomatis objek bergerak di area pengawasan

· pengenalan personel biometrik, kontrol akses biometrik ke area penting fasilitas pengawasan

Identifikasi otomatis kendaraan, kargo dan peralatan berdasarkan pengenalan tanda identifikasi (nomor registrasi, kode batang, tanda teknologi lainnya)

Metode untuk menilai skenario perilaku objek yang diamati dan kelompok objek

Pembuatan pesan "alarm" kepada operator jika terjadi skenario yang tidak menguntungkan atau tidak standar untuk perkembangan peristiwa di zona pengawasan video

· perangkat lunak dan perangkat keras untuk menerapkan metode dan algoritma untuk mengumpulkan dan memproses informasi video.

Mari kita lihat beberapa contoh pembuatan sistem pengawasan video dan elemennya.

5.1.1. Sistem untuk mendeteksi dan melacak objek bergerak berdasarkan pergerakannya

Deteksi gerakan kamera, atau deteksi gerakan, adalah salah satu teknologi komersial pertama di pasar kamera Web konsumen. [Morzeev, 2002]. Prinsip pengoperasian teknologi ini sangat sederhana, karena diasumsikan bahwa kamera tidak bergerak, sehingga latar belakangnya tidak bergerak. Hanya benda yang bergerak. Meskipun ada teknologi yang memungkinkan Anda mendeteksi objek bergerak dengan latar belakang bergerak.

Sistem yang dikembangkan di IIT (Institut Teknologi Informasi) dirancang untuk secara otomatis mengidentifikasi dan melacak objek kecil berdasarkan pergerakannya dalam gambar yang diperoleh dari kamera video bergerak.

Sistem yang diimplementasikan pada komputer pribadi menyediakan masukan dari kamera video, visualisasi dan pemrosesan gambar digital dari adegan bergerak secara real time. Sistem mengevaluasi dan mengkompensasi pergeseran umum gambar pemandangan, yang terjadi karena pergerakan relatif penerima gambar, serta pemilihan objek kecil yang bergerak berdasarkan pergerakannya dan pelacakan pergerakan beberapa objek yang terdeteksi secara bersamaan. Gambar 6 menunjukkan: di sebelah kiri – bingkai rangkaian video dengan objek bergerak yang dipilih; sebelah kanan adalah tahapan mengidentifikasi benda bergerak.

Gambar.6. Isolasi benda bergerak dalam suatu adegan observasi

Sistem deteksi dan pelacakan objek bergerak dapat memiliki berbagai fungsi, seperti:

Deteksi objek baru di lokasi pengamatan;

Deteksi benda hilang di lokasi pengawasan;

Mendaftarkan lokasi pengawasan baru;

Pemantauan tidak adanya pergeseran kamera relatif terhadap lokasi pengamatan.

5.1.2. Sistem pembacaan nomor STNK

Seperti telah disebutkan, salah satu fungsi sistem pengawasan video adalah membaca tanda pengenal suatu objek, terutama pelat nomor kendaraan yang melintasi zona pengawasan.

Salah satu aplikasi khas semacam ini adalah sistem yang dikembangkan di IIT untuk mengidentifikasi dan mengenali pelat nomor mobil saat lalu lintas di jalan raya. Sistem pembacaan plat nomor diterapkan berdasarkan sistem pengawasan video Intellect dari ITV dan telah diterapkan di sejumlah jalan raya luar negeri. [Visilter dkk., 2007] .

Fungsi sistem:

Pendaftaran penampilan kendaraan (carcounting);

Alokasi plat nomor;

Pengenalan karakter plat nomor;

Menyimpan nomor yang dikenali dalam database.

5.2 Biometrik

Dalam beberapa tahun terakhir, terdapat peningkatan minat terhadap metode pengenalan dan identifikasi di seluruh dunia. Cara dan sarana utama untuk memecahkan masalah ini terletak pada pengembangan sistem biometrik. Dalam sistem biometrik, seperangkat karakteristik biometrik berdasarkan karakteristik biologis tubuh manusia digunakan untuk mengenali seseorang. Karakteristik biometrik tersebut dapat mencakup suara, tulisan tangan, sidik jari, geometri tangan, pola retina atau iris, wajah dan DNA.

Perlindungan biometrik lebih efektif dibandingkan metode seperti menggunakan kata sandi, kode PIN, dan kartu pintar karena biometrik memungkinkan Anda mengidentifikasi orang tertentu, bukan perangkat. Metode keamanan tradisional tidak mengecualikan kemungkinan kehilangan atau pencurian informasi, sehingga informasi tersebut tersedia bagi pengguna ilegal. Pengidentifikasi biometrik unik, seperti sidik jari atau gambar wajah, berfungsi sebagai kunci yang tidak dapat hilang.

Sistem keamanan biometrik memungkinkan Anda mengabaikan perlindungan kata sandi atau berfungsi untuk memperkuatnya. Salah satu alasan utama yang secara signifikan meningkatkan pentingnya pemrosesan otomatis dan analisis informasi biometrik adalah meningkatnya persyaratan untuk fungsionalitas sistem keamanan otomatis yang berlokasi di tempat umum (stasiun, supermarket, dll.)

Mari kita lihat beberapa contoh penerapan biometrik yang ditemui dalam praktik.

5.2.1. Sistem deteksi dan pengenalan wajah

IIT telah mengembangkan teknologi untuk mendeteksi dan mengenali wajah dari gambar dua dimensi, yang mencakup tiga modul utama:

Deteksi (deteksi) wajah;

Pengindeksan (pengkodean dan pencarian cepat selanjutnya dari orang-orang di database);

Identifikasi orang.

Modul diterapkan secara berurutan. Gambar wajah yang dipilih dalam bingkai saat ini dikirim ke sistem pengindeksan, yang sebagai tanggapannya menunjukkan sejumlah “kandidat” dari database tersimpan gambar wajah yang paling mirip dengan gambar saat ini. Setelah itu, prosedur identifikasi memproses gambar wajah calon yang ditemukan agar dapat dikenali secara akurat. Pendekatan ini memungkinkan fungsi penuh bekerja dengan aliran video “langsung” untuk tujuan mengidentifikasi dan mengenali wajah dari sejumlah besar bank gambar dalam mode yang mendekati waktu nyata.

Gambar 7 menunjukkan komponen teknologi deteksi dan pengenalan wajah yang dijelaskan di atas.

Gambar.7. Sistem deteksi dan pengenalan wajah

Tampil: gambar video saat ini (kiri atas), hasil pemilihan wajah (kanan atas); hasil pencarian dalam database gambar wajah yang terindeks (gambar baris kedua adalah “kandidat” yang ditemukan, di antaranya mungkin ada yang palsu); hasil identifikasi akhir wajah (gambar baris ketiga - hanya “kandidat” yang berhasil lolos identifikasi yang ditampilkan).

5.2.2. Sistem pengenalan gerakan tangan manusia

Pengenalan isyarat adalah bidang aplikasi visi komputer yang luas. “Gerakan” secara luas mengacu pada setiap gerakan tubuh manusia. Dalam arti sempit, yang kami maksud adalah beberapa ciri gerakan tangan seseorang yang mempunyai makna semantik tertentu dalam suatu bidang subjek tertentu. Pengenalan isyarat dapat digunakan untuk membangun berbagai jenis antarmuka manusia-mesin, mengontrol berbagai sarana teknis dan sistem realitas virtual.

Sebagai contoh sederhana, kita dapat mempertimbangkan sistem untuk mengenali gerakan tangan manusia dari gambar kamera video hitam-putih beresolusi rendah (Gbr. 8). Sistem ini tidak memerlukan pelatihan awal dan secara konsisten membedakan hingga 10 gerakan berbeda

Gambar.8. Contoh sederhana dari sistem pengenalan isyarat

5.3 Aplikasi medis

Diagnostik medis menempati tempat khusus dalam pengembangan sistem visi komputer. Tugas utama yang harus diselesaikan oleh teknologi ini di sini adalah sebagai berikut: tugas mengukur objek pada radiografi, computed tomogram dan perangkat ultrasound digital modern, tugas meningkatkan visualisasi, tugas memulihkan bentuk objek tiga dimensi. Teknologi paling modern dan berkembang pesat dalam pengembangan aplikasi diagnostik medis dapat dianggap sebagai teknologi yang terkait dengan penentuan derajat keracunan alkohol dan obat-obatan berdasarkan analisis reaksi pupil pasien.

5.3.1. Sistem untuk analisis komputer gambar tomografi

Saat membuat sistem analisis gambar tomografi tujuan umum, penekanan utamanya adalah pada pengembangan prosedur untuk segmentasi gambar otomatis dan semi-otomatis. Skema algoritma segmentasi yang diterapkan meliputi:

Segmentasi histogram primer menggunakan metode ekstraksi mode statistik;

Pembentukan kawasan-kawasan yang terhubung dengan ciri-ciri tertentu dengan menggunakan metode penggabungan/pemisahan.

Metode ekstraksi mode statistik, yang dikembangkan secara khusus untuk kelas masalah ini, memungkinkan seseorang memperkirakan jumlah dan derajat ekspresi mode histogram (Gbr. 9), berdasarkan grafik turunan statistik yang sesuai.

Gambar.9. Contoh pemisahan mode otomatis dalam histogram

Metode penggabungan/pemisahan wilayah yang terhubung menggunakan penandaan piksel gambar yang diperoleh pada tahap pertama sebagai perkiraan awal, setelah itu terjadi proses relaksasi berulang untuk meminimalkan fungsi energi yang diberikan. Algoritma segmentasi dapat digunakan dalam mode otomatis dan semi-otomatis. Dalam hal ini, operator medis dapat memulai proses segmentasi objek yang diminatinya dengan menunjukkan tempat yang menarik baginya.

6. Masa depan visi mesin.

6.1. Keuntungan dan kerugian sistem visi mesin

Kerugian utama dari sistem visi mesin, yang secara signifikan membatasi pertumbuhan pasarnya, adalah kurangnya standar yang seragam untuk antarmuka peralatan dan perangkat lunak. Pengguna sistem terus-menerus mengeluh tentang ketidakmampuan untuk menggunakan sistem dari produsen yang berbeda, dan produk integrasi di bidang ini tidaklah murah. Selain itu, seiring dengan peningkatan kualitas gambar yang dipindai, kebutuhan akan perangkat lunak sistem yang efisien untuk menangkap data video dengan cepat, membersihkannya, mengompresnya, dan menyimpannya akan meningkat. Jika fungsi tersebut diterapkan pada perangkat keras seiring berjalannya waktu, kita dapat memperkirakan peningkatan permintaan untuk sistem visi tertanam.

Konsep sistem visi mesin multispektral tampak menjanjikan, memproses gambar tidak hanya dalam spektrum yang terlihat oleh manusia, tetapi juga yang diperoleh dengan menggunakan sistem radar atau laser, serta kamera inframerah (ada contoh penggunaan sistem visi mesin dalam mengenali termal bidang manusia dalam sistem keamanan dan dalam menganalisis kualitas roti panas di industri gula-gula). Kendala utama dalam pengembangan visi mesin ini adalah tingginya biaya dan kompleksitas pengoperasian sensor terkait.

Prosedur kalibrasi untuk sistem visi komputer bila disesuaikan dengan bidang subjek tertentu memakan waktu lama dan rumit. Seringkali diperlukan waktu dan sumber daya komputasi yang signifikan untuk melatih jaringan saraf. Perangkat lunak aplikasi juga sering kali memiliki antarmuka yang tidak nyaman, dan mengkonfigurasi ulang sistem ke nomenklatur baru, terutama secara real-time, yang sering kali diminta oleh pengguna, seringkali tidak mungkin dilakukan. Pembeli sudah membutuhkan sistem yang mampu menganalisis produk di konveyor tidak secara individual, tetapi sekaligus - memeriksa semua yang ada di sabuk dan langsung menilai kondisi semua produk.

Terdapat kekurangan algoritma matematika yang baik yang dirancang untuk komputer berkinerja tinggi dan mendukung pemrosesan paralel. Masalah dalam mengenali objek yang serupa tetapi dengan pencahayaan berbeda masih belum terselesaikan, dan kecil kemungkinannya untuk mengatasinya di masa mendatang.

Pasar dipengaruhi secara negatif oleh ekspektasi konsumen yang tinggi, profitabilitas yang tidak terlalu tinggi dari sistem yang ada, sejumlah kecil produk bagus, serta kemampuan untuk memecahkan masalah produksi dengan cara yang berbeda - tanpa sistem visi mesin, dengan bantuan personel yang murah. .

Namun semua masalah ini bersifat sementara. Pemasok terkemuka telah menyepakati standar umum, yang direncanakan untuk membuat gudang pengetahuan dan templat produk standar yang dapat diakses publik, menentukan antarmuka perangkat lunak, dan juga mengembangkan kesepakatan tentang bahasa untuk mendeskripsikan dan menyajikan data dari sistem visi komputer [ Bobrovsky, 2004].

Ketertarikan terhadap sistem visi komputer sebagian besar didukung oleh keberhasilan mesin di bidang yang kemampuannya jauh lebih unggul daripada manusia. Dengan demikian, komputer mampu mengidentifikasi ribuan warna abu-abu dalam sebuah gambar dan membedakan jutaan warna, dengan sangat cepat memecahkan masalah pengenalan yang khas dan terformalisasi dengan baik, dan mengidentifikasi detail kecil dalam gambar. Dan meningkatnya kekuatan komputasi dari prosesor murah merangsang produksi robot “penglihatan” rumah tangga dan industri yang tersedia untuk umum dan dikendalikan oleh PC biasa.

Produsen sistem keamanan elektronik berharap dapat mengajarkan sistem visi komputer untuk mengklasifikasikan objek secara otomatis. Sistem yang baik akan mengidentifikasi semua jenis peralatan otomotif dalam gambar video dan menentukan mereknya, mencari orang-orang tertentu di tengah kerumunan, melacak lintasan individu dan bahkan pergerakan bagian tubuh mereka, memprediksi kemungkinan perilaku, dll.

Matt Allen, Manajer Produk di Microscan, menjelaskan manfaat sistem visi mesin: “Teknologi pengiriman cepat dan manufaktur sesuai permintaan saat ini telah menjadikan informasi sebagai salah satu aset perusahaan yang paling berharga. Sistem visi mesin adalah fondasi yang memungkinkan otomatisasi banyak manufaktur Karena alat akuisisi data dan sistem visi mesin digunakan di berbagai bidang seperti penyortiran berkecepatan tinggi, kontrol kualitas produk, dan pelacakan pekerjaan."

6.2 Masa depan visi mesin

Visi mesin memiliki peluang untuk melampaui visi manusia dalam sepuluh tahun ke depan. Robot sudah bisa melihat menembus tembok dan beberapa kilometer ke depan. Benteng terakhir - penguraian kode video - akan segera runtuh. Mobil robot, kereta robot, dan pesawat robot akan dioperasikan. Dan juga para dokter, yang pisau bedahnya tidak akan pernah patah, dan matanya yang tajam akan memperhatikan arteri pada waktunya.

Kami hanya bisa berharap masyarakat mampu mengarahkan kekuatan visi mesin ke arah yang benar, dan tidak terburu-buru membangun terminator. [Talan, 2007] .

Sistem visi mesin memiliki prospek yang cukup bagus. Sistem visi mesin yang ideal akan dibangun sepenuhnya berdasarkan teknologi digital, menggunakan kamera pintar dan peralatan murah yang menerapkan serangkaian fungsi pemrosesan dan pengenalan gambar standar. Kunci keberhasilannya, tentu saja, adalah lingkungan perangkat lunak cerdas yang nyaman dan dapat disesuaikan secara fleksibel dan cepat dengan bidang subjek apa pun, memungkinkan perluasan fungsionalitas yang dinamis dan mudah dihubungkan dengan peralatan teknologi.

Menurut Hirohisa Hirukawa, peneliti di National Institute of Advanced Science and Technology, produksi robot di abad ke-21 bisa menjadi industri terbesar – serupa dengan produksi mobil di abad ke-20. Pada saat yang sama, pada tahun 2025, atau setidaknya pada tahun 2050, kita memperkirakan akan terjadi proliferasi besar-besaran robot yang digunakan untuk melakukan pekerjaan rumah tangga [Morzeev, 2002].

Bob Taplett, direktur teknik di Microscan, mengatakan: "Saya pikir dapat dikatakan bahwa di masa depan, sistem visi mesin akan menjadi sistem akuisisi data. Pembaca kode batang akan menjadi masa lalu, dan sebagian besar dari itu akan menjadi masa lalu. karena visi sistem visi mesin mampu memecahkan masalah yang lebih luas."

Kesimpulan

Visi mesin adalah topik yang agak kontroversial. Di satu sisi, hasil yang mengesankan telah diperoleh di bidang ini dan banyak tugas telah diselesaikan. Sistem visi mesin mengatasi otomatisasi produksi, pengawasan video, dan analisis citra medis. Di sisi lain, visi mesin masih jauh dari visi manusia. Banyak pencapaian yang telah dicapai, masih banyak lagi yang akan dicapai. Oleh karena itu, ada dua pandangan mengenai pengembangan visi mesin. Ada yang mengatakan bahwa mesin akan mencapai tingkat yang belum pernah terjadi sebelumnya dan mengembangkan kekuatan yang sangat besar, melebihi manusia. Yang lain berpendapat bahwa mesin tidak akan pernah melampaui manusia dan visi mesin akan tetap tidak cocok untuk memecahkan beberapa masalah yang memerlukan campur tangan manusia.

Ketidaksempurnaan visi mesin sebagian disebabkan oleh alasan teknis, namun teknologi informasi berkembang pesat dan semakin banyak solusi untuk masalah teknis ditemukan.

Sistem visi komputer menjadi semakin relevan, karena dirancang untuk memecahkan masalah umat manusia yang paling mendesak, seperti masalah keselamatan, medis, dan kualitas produk.

Referensi

· [Bobrovsky, 2004] Bobrovsky S. “Ketika mesin melihat cahaya” - http://www.pcweek.ru/themes/detail.php?ID=66663&sphrase_id=12198

· [Visilter dkk., 2007] Visilter Yu.V., Zheltov S.Yu., Knyaz V.A., Khodarev A.N., Morzhin A.V. Pengolahan dan analisis citra digital beserta contoh menggunakan LabVIEW IMAQVision. – M.: DMK Pers, 2007.

· [Zueva, 2008] Zueva E.Yu. “Visi komputer di IPM im. V.M. Keldysh RAS - sejarah perkembangan" - http://www.keldysh.ru/papers/2009/art04/Zueva_09.htm

· [Katys, 1990] Katys G.P. Pemrosesan informasi visual. – M.: Teknik Mesin, 1990.

· [Visi Komputer] Visi komputer (mesin) (computer vision) http://es-prof.com/m_mvision.php

· [Lysenko, 2007] Lysenko O. Visi mesin dari SICK/IVP // Komponen dan teknologi. 2007. Nomor 1

· [Morzeev, 2002] Morzeev Yu. “Mengapa komputer membutuhkan visi” - http://www.compress.ru/article.aspx?id=10656&iid=434

· [Talan, 2007] Talan A. Perspektif visi mesin, 2007 - http://www.mirf.ru/Articles/art2170.htm

· Davies E. R. Visi Mesin: Teori, Algoritma, Praktek. Pers Akademik, 2004.

· Visi Komputer - http://www.graphicon.ru/oldgr/ru/library/cv/cv_intro.html

· [ Wikipedia , 2010] Visi mesin - http://en.wikipedia.org/wiki/Machine_vision

Visi mesin hari ini.

Tugas utama visi komputer

Namun, visi komputer memungkinkan Anda memecahkan banyak masalah, yang dapat dibagi menjadi empat kelompok (Gbr. 2) [Lysenko, 2007]:

Gambar.2.

· Pengenalan posisi

Tujuan dari computer vision pada aplikasi ini adalah untuk menentukan letak spasial (letak suatu benda relatif terhadap sistem koordinat luar) atau posisi statis suatu benda (berapa posisi benda tersebut relatif terhadap sistem koordinat dengan suatu titik acuan. di dalam objek itu sendiri) dan mentransfer informasi tentang posisi dan orientasi objek ke sistem kendali atau pengontrol. Contoh penerapannya adalah robot bongkar muat yang bertugas memindahkan benda-benda dalam berbagai bentuk ke luar silo. Tugas cerdas dari visi mesin adalah, misalnya, menentukan sistem koordinat referensi optimal dan pusatnya untuk melokalisasi pusat gravitasi suatu bagian. Informasi yang diperoleh memungkinkan robot untuk menangkap bagian tersebut dengan benar dan memindahkannya ke lokasi yang tepat.

Pengukuran

Dalam aplikasi jenis ini, tugas utama kamera video adalah mengukur berbagai parameter fisik suatu objek. Contoh parameter fisika antara lain dimensi linier, diameter, kelengkungan, luas, tinggi dan besaran. Contoh pelaksanaan tugas ini adalah pengukuran berbagai diameter leher botol kaca.

Inspeksi

Identifikasi

Di bawah ini adalah struktur permintaan pasar berdasarkan topik proyek (Gbr. 3) [Bobrovsky, 2004]:

Gambar.3.

· 17% dari seluruh penjualan sistem visi mesin terdiri dari sistem OCR/OCV yang terkenal dan berkinerja baik untuk mengenali karakter cetak dan kode batang. Solusi masalah identifikasi.

· Pasar sistem visi mesin untuk robot non-produksi (hiburan, rumah tangga, penelitian) adalah 13%.

Aplikasi Utama Visi Mesin

Dalam artikel Bobrovsky “Saat mesin mulai melihat cahaya” [Bobrovsky, 2004] Statistik berikut disajikan untuk area di mana sistem visi mesin dibutuhkan:

· Sistem visi komputer juga dibutuhkan dalam robotika. Para ahli percaya bahwa teknologi visi mesin adalah cara termudah untuk mengajarkan perangkat untuk beroperasi secara mandiri di alam.

· Ada peningkatan minat terhadap sistem visi mesin dari perusahaan nanoteknologi, perusahaan bioteknologi, dan bidang medis (analisis otomatis gambar medis - sinar-X, tomografi, ultrasound)

· Visi komputer juga dibutuhkan di bidang sistem keamanan (identifikasi pribadi, pendeteksi gerakan, pengenalan dan pelacakan objek bergerak, pengenalan plat nomor, dll.);

· Visi komputer digunakan dalam sistem pengenalan teks tulisan tangan dan cetak.

Visi mesin adalah arah ilmiah di bidang kecerdasan buatan, khususnya robotika, dan teknologi terkait untuk memperoleh gambar objek dunia nyata, memprosesnya, dan menggunakan data yang diperoleh untuk memecahkan berbagai macam masalah terapan tanpa (penuh atau sebagian) partisipasi manusia.

Terobosan bersejarah dalam visi mesin

Komponen Sistem Visi

Satu atau lebih kamera digital atau analog (hitam putih atau berwarna) dengan optik yang sesuai untuk mengambil gambar

Perangkat lunak untuk menghasilkan gambar untuk diproses. Untuk kamera analog, ini adalah digitizer gambar

Prosesor (PC modern dengan prosesor multi-core atau prosesor internal, misalnya - DSP)

Perangkat lunak visi komputer yang menyediakan alat untuk mengembangkan aplikasi perangkat lunak individual.

Peralatan input/output atau saluran komunikasi untuk melaporkan temuan

Kamera pintar: satu perangkat yang mencakup semua poin di atas.

Sumber cahaya yang sangat khusus (LED, lampu neon dan halogen, dll.)

Aplikasi perangkat lunak khusus untuk pemrosesan gambar dan deteksi properti terkait.

Sensor untuk menyinkronkan bagian deteksi (sering kali berupa sensor optik atau magnetik) untuk pengambilan dan pemrosesan gambar.

Drive dengan bentuk tertentu yang digunakan untuk menyortir atau membuang bagian yang rusak.

Visi mesin terutama berfokus pada aplikasi industri, seperti robot otonom serta sistem inspeksi dan pengukuran visual. Artinya, teknologi sensor gambar dan teori kontrol dikaitkan dengan pemrosesan data video untuk mengendalikan robot, dan pemrosesan data yang dihasilkan secara real-time dilakukan dalam perangkat lunak atau perangkat keras.

Pemrosesan gambar dan analisis gambar terutama berfokus pada pengerjaan gambar 2D, mis. cara mengubah satu gambar ke gambar lainnya. Misalnya, pengoperasian piksel demi piksel untuk meningkatkan kontras, pengoperasian untuk menyorot tepi, menghilangkan noise, atau transformasi geometris seperti rotasi gambar. Operasi ini mengasumsikan bahwa pemrosesan/analisis gambar beroperasi secara independen dari konten gambar itu sendiri.

Visi komputer berfokus pada pemrosesan pemandangan tiga dimensi yang diproyeksikan ke satu atau lebih gambar. Misalnya dengan mengembalikan struktur atau informasi lain tentang pemandangan 3D dari satu gambar atau lebih. Visi komputer sering kali bergantung pada asumsi yang lebih atau kurang rumit tentang apa yang direpresentasikan dalam gambar.

Ada juga bidang yang disebut visualisasi, yang awalnya dikaitkan dengan proses pembuatan gambar, namun terkadang berhubungan dengan pemrosesan dan analisis. Misalnya, radiografi bekerja dengan analisis data video untuk aplikasi medis.

Terakhir, pengenalan pola adalah bidang yang menggunakan berbagai metode untuk mengekstrak informasi dari data video, terutama berdasarkan pendekatan statistik. Sebagian besar bidang ini dikhususkan untuk penerapan praktis metode ini.

Dengan demikian, kita dapat menyimpulkan bahwa konsep “visi mesin” saat ini meliputi: visi komputer, pengenalan pola visual, analisis dan pemrosesan gambar, dll.

Tugas visi komputer

Pengakuan

Identifikasi

Deteksi

Pengenalan teks

Mengembalikan bentuk 3D dari gambar 2D

Estimasi gerak

Restorasi adegan

Pemulihan gambar

Identifikasi struktur jenis tertentu dalam gambar, segmentasi gambar

Analisis Aliran Optik

Pengakuan

Masalah klasik dalam visi komputer, pemrosesan gambar, dan visi mesin adalah menentukan apakah data video berisi beberapa objek, fitur, atau aktivitas karakteristik.
Masalah ini dapat diselesaikan dengan andal dan mudah oleh manusia, namun belum dapat diselesaikan secara memuaskan dalam visi komputer dalam kasus umum: objek acak dalam situasi acak.
Satu atau lebih objek atau kelas objek yang telah ditentukan atau dipelajari dapat dikenali (biasanya bersamaan dengan posisi dua dimensinya dalam gambar atau posisi tiga dimensi dalam pemandangan).

Identifikasi

Sebuah instance individual dari suatu objek milik suatu kelas dikenali.
Contoh: identifikasi wajah manusia atau sidik jari atau kendaraan tertentu.

Deteksi

Data video diperiksa untuk kondisi tertentu.
Deteksi berdasarkan perhitungan yang relatif sederhana dan cepat terkadang digunakan untuk menemukan area kecil pada gambar yang dianalisis, yang kemudian dianalisis menggunakan teknik yang lebih intensif sumber daya untuk mendapatkan interpretasi yang benar.

Pengenalan teks

Mencari gambar berdasarkan konten: Menemukan semua gambar dalam kumpulan besar gambar yang kontennya ditentukan dalam berbagai cara.
Estimasi posisi: Menentukan posisi atau orientasi objek tertentu relatif terhadap kamera.
Pengenalan Karakter Optik: Pengenalan karakter dalam gambar teks cetak atau tulisan tangan (biasanya untuk diterjemahkan ke dalam format teks yang paling nyaman untuk diedit atau diindeks. Misalnya, ASCII).

Pemulihan bentuk 3D dari gambar 2D dilakukan dengan menggunakan rekonstruksi stereo peta kedalaman, rekonstruksi bidang normal dan peta kedalaman dari arsiran gambar halftone, rekonstruksi peta kedalaman dari tekstur dan penentuan bentuk dari perpindahan

Contoh mengembalikan bentuk 3D dari gambar 2D

Estimasi gerak

Beberapa masalah estimasi gerak dimana rangkaian gambar (data video) diproses untuk mencari perkiraan kecepatan setiap titik pada gambar atau pemandangan 3D. Contoh tugas tersebut adalah: menentukan pergerakan kamera tiga dimensi, tracking yaitu mengikuti pergerakan suatu benda (misalnya mobil atau orang)

Restorasi adegan

Dua atau lebih gambar pemandangan, atau data video, diberikan.
Rekonstruksi pemandangan mempunyai tugas untuk menciptakan kembali model pemandangan tiga dimensi.
Dalam kasus paling sederhana, model dapat berupa sekumpulan titik dalam ruang tiga dimensi. Metode yang lebih canggih mereproduksi model 3D penuh.

Pemulihan gambar

Tugas restorasi gambar adalah menghilangkan noise (noise sensor, keburaman objek bergerak, dll).
Pendekatan paling sederhana untuk memecahkan masalah ini adalah dengan menggunakan berbagai jenis filter, seperti filter low-pass atau mid-pass.
Tingkat penghilangan noise yang lebih tinggi dicapai dengan terlebih dahulu menganalisis data video untuk berbagai struktur, seperti garis atau tepi, lalu mengontrol proses pemfilteran berdasarkan data tersebut.

Pemulihan gambar

Analisis aliran optik (menemukan pergerakan piksel antara dua gambar).
Beberapa tugas estimasi gerakan di mana rangkaian gambar (data video) diproses untuk menemukan perkiraan kecepatan setiap titik dalam gambar atau pemandangan 3D.
Contoh tugas tersebut adalah: menentukan pergerakan kamera tiga dimensi, pelacakan, mis. mengikuti pergerakan suatu benda (misalnya mobil atau orang).

Metode pemrosesan gambar

Penghitung piksel

Menghitung jumlah piksel terang atau gelap.
Dengan menggunakan penghitung piksel, pengguna dapat memilih area persegi panjang di layar pada lokasi yang diinginkan, misalnya di mana ia berharap dapat melihat wajah orang yang lewat. Kamera akan langsung merespon dengan informasi jumlah piksel yang diwakili oleh sisi-sisi persegi panjang.
Penghitung piksel memungkinkan Anda memeriksa dengan cepat apakah kamera yang dipasang memenuhi persyaratan peraturan atau pelanggan untuk resolusi piksel, misalnya untuk wajah orang yang memasuki pintu yang dipantau oleh kamera atau untuk tujuan pengenalan pelat nomor.

Binarisasi

Mengonversi gambar skala abu-abu menjadi biner (piksel putih dan hitam).
Nilai setiap piksel secara konvensional diberi kode “0” dan “1”. Nilai “0” secara konvensional disebut latar belakang atau latar belakang, dan “1” adalah latar depan.
Seringkali saat menyimpan gambar biner digital, bitmap digunakan, di mana satu bit informasi digunakan untuk mewakili satu piksel.
Selain itu, terutama pada tahap awal pengembangan teknologi, dua kemungkinan warna adalah hitam dan putih, yang tidak wajib.

Segmentasi

Digunakan untuk mencari dan/atau menghitung bagian.
Tujuan dari segmentasi adalah untuk menyederhanakan dan/atau mengubah representasi suatu gambar agar lebih sederhana dan mudah untuk dianalisis.
Segmentasi gambar biasanya digunakan untuk menyorot objek dan batas (garis, kurva, dll) dalam gambar. Lebih tepatnya, segmentasi gambar adalah proses pemberian label pada setiap piksel dalam suatu gambar sehingga piksel dengan label yang sama memiliki karakteristik visual yang sama.
Hasil segmentasi citra adalah sekumpulan segmen yang bersama-sama menutupi keseluruhan citra, atau sekumpulan kontur yang diekstraksi dari citra. Semua piksel dalam suatu segmen memiliki kesamaan dalam beberapa karakteristik atau properti terhitung, seperti warna, kecerahan, atau tekstur. Segmen tetangga berbeda secara signifikan dalam karakteristik ini.

Membaca Barcode

Barcode adalah informasi grafis yang diterapkan pada permukaan, penandaan atau kemasan produk, sehingga dapat dibaca dengan cara teknis - rangkaian garis hitam putih atau bentuk geometris lainnya.
Dalam visi mesin, kode batang digunakan untuk memecahkan kode kode 1D dan 2D yang dirancang untuk dibaca atau dipindai oleh mesin.

Pengenalan Karakter Optik

Pengenalan Karakter Optik: Pembacaan teks otomatis seperti nomor seri.
OCR digunakan untuk mengubah buku dan dokumen menjadi bentuk elektronik, untuk mengotomatisasi sistem akuntansi bisnis, atau untuk mempublikasikan teks pada halaman web.
Pengenalan teks optik memungkinkan Anda mengedit teks, mencari kata atau frasa, menyimpannya dalam bentuk yang lebih ringkas, menampilkan atau mencetak materi tanpa kehilangan kualitas, menganalisis informasi, dan menerapkan terjemahan elektronik, pemformatan, atau konversi ucapan ke teks.

Program saya ditulis dalam LabView untuk bekerja dengan gambar.

Visi komputer digunakan untuk kontrol kualitas non-destruktif bahan superkonduktor.

Perkenalan. Pemecahan masalah dalam memastikan keamanan yang komprehensif (baik anti-terorisme dan keselamatan mekanis objek, dan keamanan teknologi sistem rekayasa), saat ini, memerlukan organisasi kontrol yang sistematis atas keadaan objek saat ini. Salah satu cara paling menjanjikan untuk memantau keadaan objek saat ini adalah metode optik dan optoelektronik berdasarkan teknologi pemrosesan gambar video dari sumber optik. Ini termasuk: program untuk bekerja dengan gambar; metode pemrosesan gambar terkini; peralatan untuk memperoleh, menganalisis dan memproses gambar, mis. seperangkat alat dan metode yang berkaitan dengan bidang komputer dan visi mesin. Visi komputer adalah seperangkat teknik umum yang memungkinkan komputer melihat dan mengenali objek tiga atau dua dimensi, baik rekayasa maupun non-rekayasa. Bekerja dengan visi komputer memerlukan perangkat input/output digital atau analog, serta jaringan komputer dan penganalisis lokasi IP yang dirancang untuk mengontrol proses produksi dan menyiapkan informasi untuk membuat keputusan operasional dalam waktu sesingkat mungkin.

Pernyataan masalah. Saat ini, tugas utama sistem visi komputer yang dirancang tetap mendeteksi, mengenali, mengidentifikasi, dan mengkualifikasi objek risiko potensial yang terletak di lokasi acak di area tanggung jawab operasional kompleks. Produk perangkat lunak yang ada saat ini yang ditujukan untuk memecahkan masalah di atas memiliki sejumlah kelemahan yang signifikan, yaitu: kompleksitas yang signifikan terkait dengan tingginya detail gambar optik; konsumsi daya yang tinggi dan jangkauan kemampuan yang cukup sempit. Memperluas tugas mendeteksi objek yang berpotensi menimbulkan risiko ke area pencarian objek acak dalam situasi acak yang terletak di lokasi acak tidak mungkin dilakukan dengan produk perangkat lunak yang ada, bahkan dengan penggunaan superkomputer.

Target. Pengembangan program universal untuk pengolahan gambar sumber optik, dengan kemampuan analisis data streaming, yaitu program harus ringan dan cepat agar dapat ditulis ke perangkat komputer berukuran kecil.

Tugas:

pengembangan model matematika dari program;

menulis sebuah program;

menguji program dalam percobaan laboratorium, dengan persiapan penuh dan pelaksanaan percobaan;

penelitian tentang kemungkinan penggunaan program di bidang kegiatan terkait.

Relevansi program ditentukan oleh:

tingginya biaya program pemrosesan informasi visual profesional.

Analisis relevansi pengembangan program.

kurangnya program pengolah gambar di pasar perangkat lunak yang menyediakan analisis rinci tentang komponen teknik objek;

persyaratan yang terus meningkat untuk kualitas dan kecepatan memperoleh informasi visual, meningkatkan permintaan akan program pemrosesan gambar secara tajam;

adanya kebutuhan akan program berkinerja tinggi yang dapat diandalkan dan mudah digunakan;

Terdapat kebutuhan akan program berkinerja tinggi dan manajemen sederhana, yang sangat sulit dicapai saat ini. Misalnya, saya mengambil Adobe Photoshop. Editor grafis ini memiliki kombinasi fungsionalitas dan kemudahan penggunaan yang harmonis untuk rata-rata pengguna, tetapi dalam program ini tidak mungkin untuk bekerja dengan alat pengolah gambar yang kompleks (misalnya, analisis gambar dengan membangun hubungan matematika (fungsi) atau pemrosesan gambar terintegrasi );

tingginya biaya program pemrosesan informasi visual profesional. Jika perangkat lunaknya berkualitas tinggi, maka harganya akan sangat tinggi, bahkan sampai ke fungsi individual dari serangkaian program tertentu. Grafik di bawah ini menunjukkan hubungan harga/kualitas antara program analog sederhana.

Untuk menyederhanakan penyelesaian masalah jenis ini, saya mengembangkan model matematika dan menulis program untuk perangkat komputer untuk analisis gambar menggunakan transformasi sederhana dari gambar sumber.
Program ini bekerja dengan transformasi seperti binerisasi, kecerahan, kontras gambar, dll. Prinsip pengoperasian program ini ditunjukkan dengan menggunakan contoh analisis bahan superkonduktor.

Saat membuat superkonduktor komposit berdasarkan Nb3Sn, rasio volume perunggu dan niobium, ukuran dan jumlah serat di dalamnya, keseragaman distribusinya pada penampang matriks perunggu, keberadaan penghalang difusi dan bahan penstabil bervariasi. Untuk fraksi volume niobium tertentu dalam konduktor, peningkatan jumlah serat menyebabkan penurunan diameternya. Hal ini menyebabkan peningkatan nyata pada permukaan interaksi Nb/Cu-Sn, yang secara signifikan mempercepat proses pertumbuhan fase superkonduktor. Peningkatan jumlah fase superkonduktor dengan peningkatan jumlah serat dalam konduktor memastikan peningkatan karakteristik kritis superkonduktor. Berkaitan dengan hal tersebut, diperlukan suatu alat untuk mengontrol fraksi volume fasa superkonduktor pada produk akhir (superkonduktor komposit).

Saat membuat program, pentingnya melakukan penelitian terhadap bahan dari mana kabel superkonduktor dibuat diperhitungkan, karena jika rasio niobium dan perunggu salah, ledakan kabel mungkin terjadi, dan akibatnya, korban jiwa. biaya moneter dan hilangnya waktu. Program ini memungkinkan Anda menentukan kualitas kabel berdasarkan analisis kimia dan fisik suatu objek.

Diagram blok program

Deskripsi tahapan penelitian.

Tahap 1. Persiapan sampel: pemotongan superkonduktor komposit pada mesin pelepasan listrik; menekan sampel ke dalam matriks plastik; memoles sampel hingga menjadi cermin; mengetsa sampel untuk menyorot serat niobium pada matriks perunggu. Sampel sampel superkonduktor komposit yang ditekan diperoleh;

Tahap 2. Pencitraan: memperoleh gambar metalografi menggunakan mikroskop elektron pemindaian.

Tahap 3. Pemrosesan gambar: pembuatan alat untuk menentukan fraksi volume fase superkonduktor dalam gambar metalografi; sekumpulan data yang signifikan secara statistik pada jenis sampel tertentu. Model matematika dari berbagai alat pengolah gambar telah dibuat; pengembangan perangkat lunak dibuat untuk memperkirakan fraksi volume fase superkonduktor; program ini disederhanakan dengan menggabungkan beberapa fungsi matematika menjadi satu; nilai rata-rata fraksi volume serat niobium pada matriks perunggu adalah 24,7±0,1%. Persentase deviasi yang rendah menunjukkan tingginya pengulangan struktur kawat komposit.

Gambar mikroskop elektron superkonduktor komposit

Metode pemrosesan gambar dalam program.

Identifikasi- sebuah instance individual dari suatu objek milik suatu kelas dikenali.

Binarisasi– proses mengubah gambar berwarna (atau skala abu-abu) menjadi dua warna hitam putih.

Segmentasi adalah proses membagi gambar digital menjadi beberapa segmen (banyak piksel, disebut juga superpiksel).

Erosi– proses kompleks di mana elemen struktural melewati semua piksel gambar. Jika pada posisi tertentu setiap piksel elemen struktur bertepatan dengan satu piksel gambar biner, maka penambahan logis piksel pusat elemen struktur dilakukan dengan piksel yang sesuai dari gambar keluaran.

Pelebaran- konvolusi suatu gambar atau area yang dipilih dari suatu gambar dengan kernel tertentu. Inti dapat memiliki bentuk dan ukuran apa pun. Dalam hal ini, satu posisi terdepan dialokasikan di kernel, yang digabungkan dengan piksel saat ini saat menghitung konvolusi.

Rumus program

Rumus binerisasi (metode Otsu):

Rumus erosi:

Rumus dilatasi:

Pola dilatasi dan erosi

Antarmuka program

OTOMATIS

Sistem visi mesin industri

Sistem pengakuan

Sistem manajemen lalu lintas cerdas ITS

Sistem seluler dalam transportasi

YouTube ensiklopedis

Subtitle

Perkenalan

Komponen Sistem Visi

Metode pengolahan

Aplikasi Visi Mesin

Visi mesin hari ini.

Tugas utama visi komputer

Aplikasi Utama Visi Mesin