Membuat cluster windows. Buat akun layanan Cluster. Persyaratan Disk Penyimpanan Bersama

Sudah pada tahap perencanaan masa depan infrastruktur maya Anda harus mempertimbangkan untuk memastikan ketersediaan tinggi mesin virtual Anda. Jika di situasi normal Ketidaktersediaan sementara salah satu server mungkin masih dapat diterima, namun jika host Hyper-V berhenti, sebagian besar infrastruktur tidak akan dapat diakses. Dalam hal ini, kompleksitas administrasi meningkat tajam - menghentikan atau me-reboot host jam kerja Hal ini hampir mustahil, dan jika terjadi kegagalan perangkat keras atau kegagalan perangkat lunak, kita akan mengalami keadaan darurat di tingkat perusahaan.

Semua ini dapat secara serius mengurangi antusiasme terhadap manfaat virtualisasi, namun ada jalan keluarnya dan itu terletak pada penciptaan cluster ketersediaan tinggi. Kami telah menyebutkan bahwa istilah "toleransi kesalahan" tidak sepenuhnya benar dan oleh karena itu saat ini karakteristik lain semakin banyak digunakan, yang lebih akurat mencerminkan keadaan - "sangat tersedia".

Untuk menciptakan sistem toleransi kesalahan yang lengkap, setiap titik kegagalan perlu dihilangkan, yang dalam banyak kasus memerlukan investasi finansial yang serius. Pada saat yang sama, sebagian besar situasi memungkinkan adanya beberapa titik kegagalan jika menghilangkan konsekuensi kegagalannya akan lebih murah dibandingkan berinvestasi pada infrastruktur. Misalnya, Anda dapat meninggalkan penyimpanan toleransi kesalahan yang mahal dan memilih dua penyimpanan server murah dengan jumlah keranjang yang cukup, salah satunya dikonfigurasi sebagai cadangan dingin, jika server pertama gagal, kita cukup mengatur ulang disk dan menyalakan yang kedua.

Pada materi ini, kita akan membahas konfigurasi paling sederhana dari cluster failover, yang terdiri dari dua node (node) SRV12R2-NODE1 dan SRV12R2-NODE2 yang masing-masing menjalankan Windows Server 2012 R2. Prasyarat untuk server ini adalah penggunaan prosesor dari pabrikan yang sama, hanya Intel atau AMD saja, jika tidak, migrasi mesin virtual antar node tidak akan mungkin dilakukan. Setiap node harus terhubung ke dua jaringan: LAN perusahaan dan jaringan penyimpanan SAN.

Kedua prasyarat Untuk membuat cluster, Anda harus memiliki Direktori Aktif yang diterapkan; dalam diagram kami, ini diwakili oleh pengontrol domain SRV12R2-DC1.

Penyimpanan dibuat menggunakan teknologi iSCSI dan dapat diimplementasikan pada platform apa pun yang sesuai, termasuk dalam hal ini ini adalah server lain di Windows Server 2012 R2 - SRV12R2-STOR. Server penyimpanan dapat tersambung ke jaringan perusahaan dan menjadi anggota domain, namun ini bukan keharusan. Bandwidth Jaringan penyimpanan minimal harus 1 Gbit/dtk.

Kami berasumsi bahwa sistem operasi sudah diinstal pada kedua node, mereka dimasukkan ke dalam domain dan koneksi jaringan dikonfigurasi. Mari kita buka Tambahkan Panduan Peran dan Fitur dan menambahkan peran Hiper-V.

Langkah selanjutnya adalah menambahkan komponen Pengelompokan Failover.

Pada halaman konfigurasi sakelar virtual, pilih adaptor jaringan yang tersambung ke jaringan perusahaan.

Migrasi mesin virtual biarkan dalam keadaan mati.

Kami membiarkan parameter lainnya tidak berubah. Menginstal peran Hyper-V akan memerlukan reboot, setelah itu kita mengkonfigurasi node kedua dengan cara yang sama.

Lalu mari beralih ke server penyimpanan; kami menjelaskan cara mengkonfigurasi penyimpanan iSCSI berdasarkan Windows Server 2012, tetapi ini tidak penting, Anda dapat menggunakan server target iSCSI apa pun. Untuk operasi normal kita perlu membuat setidaknya dua cluster disk virtual: Disk saksi kuorum dan disk penyimpanan mesin virtual. Disk saksi adalah sumber daya layanan cluster; dalam kerangka artikel ini kami tidak akan membahas peran dan mekanisme operasinya; ukuran minimal, dalam kasus kami 1GB.

Buat target iSCSI baru dan izinkan akses ke target tersebut oleh dua inisiator, yang akan menjadi node cluster.

Dan cocokkan disk virtual yang dibuat dengan tujuan ini.

Setelah mengkonfigurasi penyimpanan, kami akan kembali ke salah satu node dan menghubungkan disk dari penyimpanan. Ingatlah jika server penyimpanan juga terhubung jaringan lokal, lalu saat menghubungkan ke target iSCSI, tentukan aksesnya jaringan penyimpanan.

Kami menginisialisasi dan memformat disk yang terhubung.

Lalu kita pergi ke node kedua dan juga menghubungkan disk; tidak perlu memformatnya, kita cukup menetapkan huruf dan label volume yang sama. Hal ini tidak perlu, namun disarankan dilakukan demi keseragaman pengaturan saat roda yang identik Semua node memiliki sebutan yang sama; akan lebih sulit untuk menjadi bingung dan membuat kesalahan.

Nanti kita buka Manajer Hyper-V dan mari beralih ke menyiapkan sakelar virtual. Nama mereka di kedua node seharusnya sepenuhnya bertepatan.

Sekarang kita siap membuat cluster. Mari kita luncurkan peralatannya Manajer Kluster Failover dan pilih tindakan Periksa konfigurasi.

Di pengaturan wizard, tambahkan node yang kami konfigurasikan dan pilih untuk menjalankan semua pengujian.

Pemeriksaan memerlukan waktu yang cukup lama; jika terjadi kesalahan, kesalahan tersebut harus diperbaiki dan pemeriksaan diulangi.

Jika tidak ditemukan kesalahan signifikan, wizard akan selesai dan akan meminta Anda membuat cluster pada node yang dipilih.

Namun, jika pemeriksaan menghasilkan peringatan, kami menyarankan Anda mempelajari laporan tersebut dan mencari tahu apa saja yang terpengaruh peringatan ini dan apa yang perlu dilakukan untuk menghilangkannya. Dalam kasus kami, wizard memperingatkan kami tentang kurangnya redundansi dalam koneksi jaringan cluster; secara default, cluster tidak menggunakan jaringan iSCSI, yang nantinya mudah diperbaiki.

Ketika sebuah cluster dibuat, objek virtual dibuat untuknya, yang memiliki nama dan alamat jaringan. Kami akan menunjukkannya di tempat terbuka Wisaya Pembuatan Klaster.

Tidak akan ada pertanyaan lagi dan wizard akan memberitahu kita bahwa cluster telah dibuat, sambil memberikan peringatan tentang tidak adanya disk saksi.

Tutup wizard dan perluas pohon di sebelah kiri hingga sejajar Penyimpanan - Disk, pada tindakan yang tersedia di sebelah kanan, pilih Tambahkan penggerak dan tunjukkan drive yang terhubung di jendela yang terbuka, dalam kasus kami ada dua di antaranya.

Kemudian klik kanan pada objek cluster di pohon sebelah kiri dan pilih Langkah Tambahan - Konfigurasikan pengaturan kuorum klaster.

Selanjutnya kita pilih secara berurutan: Pilih Kuorum Saksi - Konfigurasikan Disk Saksi dan tunjukkan disk yang dibuat untuk tujuan ini.

Sekarang mari kita siapkan disk penyimpanan, semuanya menjadi lebih sederhana, cukup klik kanan pada disk dan tentukan: Tambahkan ke penyimpanan bersama cluster.

Agar disk tersebut dapat digunakan oleh beberapa anggota cluster sekaligus, a CSVFS- sistem file berkerumun yang diimplementasikan di atas NTFS, yang pertama kali muncul di Windows Server 2008 R2 dan memungkinkan penggunaan fungsi seperti migrasi Dinamis (Langsung), mis. penularan mesin virtual antar node cluster tanpa menghentikan operasinya.

Penyimpanan bersama tersedia di semua node cluster di lokasi C:\ClusterStorage\VolumeN. Harap dicatat bahwa ini bukan hanya folder di drive sistem, tetapi titik pemasangan untuk volume bersama cluster.

Setelah selesai dengan disk, mari beralih ke pengaturan jaringan, untuk ini kita pergi ke bagian Jaringan. Untuk jaringan yang terhubung ke jaringan perusahaan, tunjukkan dan Izinkan klien untuk terhubung melalui jaringan ini. Untuk jaringan penyimpanan kita tinggalkan saja Izinkan cluster untuk menggunakan jaringan ini, sehingga memberikan redundansi koneksi jaringan yang diperlukan.

Ini menyelesaikan pengaturan cluster. Untuk bekerja dengan mesin virtual berkerumun, Anda harus menggunakan Manajer Kluster Failover, bukan Manajer Hyper-V, yang dirancang untuk mengelola mesin virtual yang berlokasi secara lokal.

Untuk membuat mesin virtual, buka bagian tersebut Peran dari menu klik kanan pilih Mesin virtual - Membuat mesin virtual, hal yang sama dapat dilakukan melalui panel Tindakan Kanan.

Pertama, pilih host tempat mesin virtual akan dibuat. Setiap mesin virtual berjalan pada node cluster tertentu, bermigrasi ke node lain ketika node tersebut berhenti atau gagal.

Setelah memilih sebuah node, Wizard Pembuatan Mesin Virtual standar akan terbuka; bekerja dengannya tidaklah sulit, jadi kami hanya akan fokus pada poin-poin penting saja. Sebagai lokasi mesin virtual Perlu tentukan salah satu volume bersama cluster C:\ClusterStorage\VolumeN.

Ini juga harus ditempatkan di sini keras maya disk, Anda juga dapat menggunakan virtual yang ada hard drive, setelah sebelumnya menyalinnya ke penyimpanan bersama.

Setelah membuat mesin virtual, buka Pilihan dan pada titik Prosesor - Kompatibilitas centang kotaknya Transfer ke komputer fisik dengan versi prosesor yang berbeda, ini akan memungkinkan migrasi antar node dengan model prosesor berbeda satu produsen. Migrasi dari Intel ke AMD atau sebaliknya mustahil.

Lalu pergi ke Adaptor jaringan - Akselerasi perangkat keras dan pastikan opsi yang dipilih didukung oleh kartu jaringan semua node cluster atau nonaktifkan.

Jangan lupa untuk mengkonfigurasi tindakan otomatis Saat memulai dan mematikan sebuah node, dan dengan jumlah mesin virtual yang banyak, jangan lupa untuk mengatur penundaan startup untuk menghindari beban berlebihan pada sistem.

Setelah selesai dengan Parameter pergi ke Properti mesin virtual dan tunjukkan node pilihan pemilik peran ini dalam urutan dan prioritas menurun, mesin dengan prioritas lebih tinggi bermigrasi terlebih dahulu.

Di penanda Penanganan Kegagalan tetapkan jumlah kegagalan yang dapat diterima untuk mesin virtual per unit waktu, ingatlah bahwa kegagalan tidak hanya dianggap sebagai kegagalan node, tetapi juga hilangnya detak jantung mesin virtual, misalnya pembekuannya. Selama penyiapan dan pengujian, masuk akal untuk menentukan nilai yang lebih besar.

Konfigurasikan juga Memulihkan penempatan, opsi ini memungkinkan Anda untuk mentransfer mesin virtual kembali ke pemilik yang paling disukai ketika mesin tersebut dikembalikan ke operasi normal. Untuk menghindari beban berlebihan, gunakan opsi penundaan pemulihan.

Ini menyelesaikan penyiapan mesin virtual, kita dapat meluncurkan dan bekerja dengannya.

Sekarang adalah waktunya untuk menguji migrasi, untuk melakukannya, klik kanan pada mesin dan pilih Pindah - Migrasi Langsung - Pilih Node. Mesin virtual harus berpindah ke node yang dipilih tanpa dimatikan.

Bagaimana migrasi terjadi di lingkungan kerja? Katakanlah kita perlu mematikan atau me-reboot node pertama tempat mesin virtual sedang berjalan. Setelah menerima perintah untuk mematikan, node memulai transfer mesin virtual:

Shutdown ditangguhkan hingga semua mesin virtual telah ditransfer.

Ketika node dipulihkan, klaster, jika failback diaktifkan, akan dimulai proses sebaliknya, mentransfer mesin virtual kembali ke pemilik pilihan.

Apa yang terjadi jika node yang menghosting mesin virtual mengalami crash atau reboot? Semua mesin virtual juga akan mogok, tetapi akan segera dimulai ulang pada node yang berfungsi sesuai dengan daftar pemilik pilihan.

Seperti yang telah kami katakan, istilah “fail-safe”, yang telah mengakar dalam literatur teknis dalam negeri, tidak tepat dan akan lebih tepat jika diterjemahkan sebagai “dengan penanganan kegagalan”, atau menggunakan konsep “tinggi ketersediaan”, yang mencerminkan keadaan dengan paling akurat.

Cluster Hyper-V tidak memberikan toleransi kesalahan pada mesin virtual; kegagalan sebuah node mengakibatkan kegagalan semua mesin yang dihosting di dalamnya, namun memungkinkan Anda untuk menyediakan ketersediaan tinggi untuk layanan Anda, secara otomatis memulihkan operasinya dan memastikan minimal waktu yang mungkin waktu henti Ini juga memungkinkan Anda menyederhanakan administrasi infrastruktur virtual secara signifikan dengan memungkinkan Anda memindahkan mesin virtual antar node tanpa mengganggu pekerjaan mereka.

  • Tag:

Harap aktifkan JavaScript untuk melihat

Artikel ini akan menunjukkan kepada Anda cara membangun cluster failover Server 2012 dengan dua node. Pertama, saya akan mencantumkan prasyarat dan memberikan gambaran umum tentang lingkungan perangkat keras, jaringan, dan pengaturan penyimpanan. Kemudian akan dijelaskan secara rinci cara memperluas Server 2012 dengan kemampuan pengelompokan failover dan menggunakan Failover Cluster Manager untuk mengonfigurasi kluster dua simpul.

Ada begitu banyak fitur baru di Windows Server 2012 sehingga sulit untuk melacak semuanya. Beberapa elemen terpenting dari infrastruktur TI baru melibatkan perbaikan dalam pengelompokan failover. Pengelompokan failover berasal dari teknologi untuk melindungi aplikasi penting yang diperlukan untuk aktivitas produksi, seperti Microsoft SQL Server dan Microsoft Pertukaran. Namun pengelompokan failover telah berkembang menjadi platform ketersediaan tinggi untuk berbagai layanan dan aplikasi Windows. Pengelompokan failover adalah bagian dari dasar Pusat Data Dinamis dan teknologi seperti migrasi langsung. Dengan Server 2012 dan peningkatan baru Protokol server Blok Pesan (SMB) 3.0 memperluas cakupan pengelompokan failover untuk menyediakan sumber daya file bersama yang terus tersedia. Gambaran umum tentang fungsionalitas pengelompokan failover di Server 2012 diberikan dalam artikel “Fitur baru pengelompokan failover di Windows Server 2012” yang diterbitkan dalam edisi majalah yang sama.

Prasyarat Pengelompokan Failover

Untuk membangun kluster failover Server 2012 dua simpul, Anda memerlukan dua komputer yang menjalankan Pusat Data Server 2012 atau edisi Standar. Ini bisa berupa komputer fisik atau mesin virtual. Cluster dengan node virtual dapat dibangun menggunakan Microsoft Hyper-V atau VMware vSphere. Artikel ini menggunakan dua server fisik, namun langkah-langkah untuk menyiapkan klaster untuk node fisik dan virtual sama. Fitur Utama adalah node harus dikonfigurasi secara identik sehingga node cadangan dapat menjalankan beban kerja jika terjadi failover atau migrasi langsung. Komponen yang digunakan dalam uji cluster failover Server 2012 ditunjukkan pada gambar.

Kluster failover Server 2012 memerlukan penyimpanan bersama seperti iSCSI, SCSI Terlampir Serial, atau Fibre Channel SAN. Contoh kami menggunakan iSCSI SAN. Anda harus ingat fitur berikut penyimpanan jenis ini.

  • Setiap server pasti punya setidaknya tiga adaptor jaringan: satu untuk menghubungkan penyimpanan iSCSI, satu untuk komunikasi dengan node cluster, dan satu lagi untuk komunikasi dengan jaringan eksternal. Jika Anda berencana menggunakan klaster untuk migrasi langsung, maka akan berguna jika Anda memiliki adaptor jaringan keempat. Namun, migrasi langsung juga dapat dilakukan melalui eksternal koneksi jaringan- itu hanya akan berjalan lebih lambat. Jika server digunakan untuk virtualisasi dan konsolidasi server berbasis Hyper-V, maka adaptor jaringan tambahan diperlukan untuk mentransfer lalu lintas jaringan mesin virtual.
  • DI DALAM jaringan cepat pekerjaan selalu lebih baik, jadi kecepatan tautan iSCSI minimal harus 1 GHz.
  • Target iSCSI harus sesuai dengan spesifikasi iSCSI-3, khususnya menyediakan redundansi yang persisten. Ini adalah persyaratan wajib untuk migrasi hidup. Hampir semua vendor penyimpanan memiliki perangkat keras yang sesuai dengan iSCSI 3. Jika Anda ingin menyiapkan klaster di lingkungan lab dengan biaya rendah, pastikan untuk memastikan bahwa perangkat lunak target iSCSI memenuhi persyaratan iSCSI 3 dan redundansi persisten. Openfiler versi lama tidak mendukung standar ini, namun versi baru Openfiler dengan Plugin Target iSCSI Tingkat Lanjut (http://www.openfiler.com/products/advanced-iscsi-plugin). Selain itu, versi gratis dari StarWind iSCSI SAN Edisi Gratis Perangkat Lunak StarWind (http://www.starwindsoftware.com/starwind-free) sepenuhnya kompatibel dengan Hyper-V dan migrasi langsung. Beberapa versi Microsoft Windows Server juga dapat berfungsi sebagai target iSCSI yang sesuai dengan standar iSCSI 3 Server 2012 yang menyertakan target iSCSI. jendela Server Penyimpanan 2008 R2 mendukung perangkat lunak target iSCSI. Anda juga dapat mengunduh Microsoft iSCSI Software Target 3.3 (http://www.microsoft.com/en-us/download/details.aspx?id=19867), yang berfungsi dengan Windows Server 2008 R2.

Untuk informasi selengkapnya tentang mengonfigurasi penyimpanan iSCSI untuk kluster failover, lihat sidebar "Contoh Konfigurasi Penyimpanan ISCSI". Rincian lebih lanjut tentang persyaratan untuk pengelompokan failover dijelaskan dalam artikel “Persyaratan Perangkat Keras dan Opsi Penyimpanan Pengelompokan Failover” (http://technet.microsoft.com/en-us/library/jj612869.aspx).

Menambahkan Fitur Failover Clustering

Langkah pertama untuk membuat cluster failover Server 2012 dua node adalah menambahkan komponen cluster failover menggunakan Server Manager. Server Manager otomatis terbuka ketika Anda login ke Server 2012. Untuk menambahkan fitur failover cluster, pilih Server Lokal dan gulir ke bawah ke bagian PERAN DAN FITUR. Dari daftar drop-down TASKS, pilih Add Roles and Features, seperti yang ditunjukkan Gambar 1. Ini akan meluncurkan Add Roles and Features Wizard.

Halaman pertama yang dibuka setelah meluncurkan wizard adalah halaman selamat datang Sebelum Anda memulai. Klik Berikutnya untuk membuka halaman pemilihan jenis instalasi, yang menanyakan apakah Anda ingin menginstal fitur tersebut di komputer lokal Anda atau di layanan Desktop Jarak Jauh. Untuk contoh ini, pilih opsi instalasi berbasis peran atau berbasis fitur dan klik Berikutnya.

Pada halaman Pilih server tujuan, pilih server tempat Anda ingin menginstal fitur kluster failover. Dalam kasus saya itu server lokal bernama WS2012-N1. Dengan server lokal Anda dipilih, klik Berikutnya untuk membuka halaman Pilih peran server. DI DALAM dalam contoh ini Peran server belum ditetapkan, jadi klik Berikutnya. Atau Anda dapat mengklik link Fitur di menu sebelah kiri.

Pada halaman Pilih fitur, gulir ke bawah ke Pengelompokan Failover. Klik pada kotak di depan Failover Clustering dan Anda akan melihat kotak dialog yang mencantumkan berbagai komponen yang akan diinstal sebagai bagian dari komponen tersebut. Seperti yang ditunjukkan Gambar 2, secara default wizard akan menginstal alat manajemen kluster failover dan modul kluster failover Windows PowerShell. Klik tombol Tambah Fitur untuk kembali ke halaman pemilihan fitur. Klik Berikutnya.

Halaman Konfirmasi pilihan instalasi akan menampilkan fitur kluster failover bersama dengan alat manajemen dan modul PowerShell. Anda dapat kembali dan membuat perubahan apa pun dari halaman ini. Ketika Anda mengklik tombol Instal, instalasi komponen yang sebenarnya akan dimulai. Setelah instalasi selesai, wizard akan selesai dan fitur Failover Cluster akan muncul di bagian PERAN DAN FITUR Manajer Server. Proses ini harus diselesaikan pada kedua node.

Menguji Kluster Failover

Langkah selanjutnya setelah menambahkan fitur failover cluster adalah memeriksa pengaturan lingkungan tempat cluster dibuat. Di sini Anda dapat menggunakan Validasi Pengaturan Wizard di Failover Cluster Manager. Wizard ini memeriksa pengaturan perangkat keras dan perangkat lunak semua node cluster dan melaporkan masalah apa pun yang mungkin mengganggu cluster.

Untuk membuka Failover Cluster Manager, pilih opsi Failover Cluster Manager dari menu Tools di Server Manager. Di area Manajemen, klik link Validasi Konfigurasi, seperti yang ditunjukkan Gambar 3, untuk meluncurkan Wizard Validasi Konfigurasi.


Layar 3: Meluncurkan Wizard Konfigurasi Verifikasi

Pertama, halaman selamat datang wizard akan muncul. Klik Berikutnya untuk masuk ke halaman pilihan server atau Cluster. Di halaman ini, masukkan nama node cluster yang ingin Anda periksa. Saya menentukan WS2012-N1 dan WS2012-N2. Klik Berikutnya untuk menampilkan halaman Opsi Pengujian, tempat Anda dapat memilih rangkaian pengujian tertentu atau menjalankan semua pengujian. Setidaknya untuk pertama kalinya, saya sarankan menjalankan semua tes. Klik Berikutnya untuk membuka halaman konfirmasi yang menunjukkan pengujian yang sedang dijalankan. Klik Berikutnya untuk memulai proses pengujian cluster. Selama pengujian, versi sistem operasi, pengaturan jaringan dan penyimpanan semua node cluster diperiksa. Ringkasan hasil ditampilkan setelah tes selesai.

Jika uji validasi berhasil, Anda dapat membuat cluster. Gambar 4 menunjukkan layar ringkasan klaster yang berhasil diverifikasi. Jika ditemukan kesalahan selama pemeriksaan, laporan akan ditandai dengan segitiga kuning (peringatan) atau tanda "X" merah jika terjadi kesalahan serius. Peringatan harus dibaca tetapi dapat diabaikan. Kesalahan serius harus diperbaiki sebelum membuat cluster.

Akibatnya, wizard pembuatan cluster akan diluncurkan, yang dimulai dari halaman selamat datang. Klik Next untuk masuk ke halaman Pemilihan Server, yang ditunjukkan pada Gambar 6. Pada halaman ini, masukkan nama semua node di cluster, lalu klik Next.

Di halaman Titik Akses untuk Mengelola Cluster, Anda harus menentukan nama dan alamat IP cluster, yang harus unik di jaringan. Seperti yang Anda lihat di Layar 7, nama cluster saya adalah WS2012-CL01 dan alamat IP adalah 192.168.100.200. Pada menggunakan Server 2012 Alamat IP cluster dapat diberikan melalui DHCP, tapi saya lebih memilih alamat IP yang ditetapkan secara statis untuk server saya.

Setelah memasukkan nama dan alamat IP Anda, klik Next untuk melihat halaman konfirmasi (Gambar 8). Di halaman ini Anda dapat memverifikasi pengaturan yang dibuat saat membuat cluster. Anda dapat kembali dan melakukan perubahan jika perlu.

Setelah mengklik tombol Next pada halaman konfirmasi, cluster terbentuk pada semua node yang dipilih. Halaman kemajuan menunjukkan langkah-langkah wizard dalam proses pembuatan cluster baru. Setelah selesai, wizard akan menampilkan halaman ringkasan dengan pengaturan untuk cluster baru.

New Cluster Wizard secara otomatis memilih kuorum penyimpanan, namun sering kali memilih kuorum disk yang berbeda dari yang diinginkan administrator. Untuk memeriksa disk mana yang digunakan untuk kuorum, buka Failover Cluster Manager dan perluas cluster. Kemudian buka node Penyimpanan dan klik node Disk. Disk yang tersedia di cluster akan ditampilkan di panel Disk. Disk yang dipilih oleh wizard untuk kuorum klaster akan dicantumkan di bagian Saksi Disk di Kuorum.

Dalam contoh ini, Cluster Disk 4 digunakan untuk kuorum. Ukurannya 520 MB, lebih sedikit nilai minimum untuk kuorum 512 MB. Jika Anda ingin menggunakan disk yang berbeda untuk kuorum klaster, Anda dapat mengubah pengaturan klaster dengan mengklik kanan nama klaster di Failover Cluster Manager, memilih Tindakan Lainnya, lalu memilih Konfigurasikan Pengaturan Kuorum Klaster. Ini akan menampilkan Wizard Konfigurasi Kuorum, yang memungkinkan Anda mengubah pengaturan kuorum klaster.

Mengonfigurasi Volume Bersama Klaster dan Peran Mesin Virtual

Kedua node di cluster saya memiliki peran Hyper-V karena cluster dirancang untuk mesin virtual dengan ketersediaan tinggi yang menyediakan migrasi langsung. Untuk mempermudah migrasi langsung, selanjutnya Anda perlu mengonfigurasi Cluster Shared Volumes (CSV). Tidak seperti Server 2008 R2, Cluster Shared Volumes diaktifkan secara default di Server 2012. Namun, Anda masih perlu menentukan penyimpanan mana yang akan digunakan untuk Volume Bersama Klaster. Untuk mengaktifkan CSV pada disk yang tersedia, perluas node Penyimpanan dan pilih node Disk. Selanjutnya, pilih disk cluster yang ingin Anda gunakan sebagai CSV dan klik link Add to Cluster Shared Volumes di panel Actions pada Failover Cluster Manager (Gambar 9). Bidang Ditugaskan Ke untuk disk cluster ini berubah dari Penyimpanan yang Tersedia menjadi Volume Bersama Cluster, seperti yang ditunjukkan Gambar 9.

Saat ini, Failover Cluster Manager mengonfigurasi penyimpanan disk cluster untuk CSV, khususnya menambahkan titik pemasangan pada disk sistem. Dalam contoh ini, Cluster Shared Volumes diaktifkan pada Cluster Disk 1 dan Cluster Disk 3 dengan menambahkan titik pemasangan berikut:

* C:ClusterStorageVolume1 * C:ClusterStorageVolume2

Pada tahap ini, cluster dua node Server 2012 telah dibangun dan Cluster Shared Volumes telah diaktifkan. Anda kemudian dapat menginstal aplikasi cluster atau menambahkan peran ke cluster. Dalam hal ini, cluster dibuat untuk virtualisasi, jadi kami menambahkan peran mesin virtual ke cluster.

Untuk menambahkan peran baru, pilih nama klaster di panel navigasi Failover Cluster Manager dan klik tautan Konfigurasikan Peran di panel Tindakan untuk meluncurkan Wizard Ketersediaan Tinggi. Klik Berikutnya di halaman Selamat Datang untuk membuka halaman pemilihan peran. Gulir ke bawah daftar peran hingga Anda melihat peran mesin virtual, seperti yang ditunjukkan Gambar 10. Pilih peran dan klik Berikutnya.

Halaman pemilihan mesin virtual akan mencantumkan semua VM di semua node di cluster, seperti yang ditunjukkan Gambar 11. Gulir daftar dan pilih mesin virtual yang ingin Anda berikan ketersediaan tinggi. Klik Berikutnya. Setelah Anda mengonfirmasi pilihan Anda, klik Berikutnya untuk menambahkan peran mesin virtual ke Failover Cluster Manager.

Contoh konfigurasi penyimpanan iSCSI

Kluster failover Windows Server 2012 memerlukan penyimpanan bersama, yang dapat berupa iSCSI, SCSI Terlampir Serial, atau Fibre Channel SAN. Kluster failover ini menggunakan Channel SAN.

Pertama, tiga LUN dibuat di iSCSI SAN. Satu LUN dibuat untuk disk kuorum cluster (520 MB). LUN lainnya ditujukan untuk 10 mesin virtual dan berukuran 375 GB. LUN ketiga didedikasikan untuk mesin virtual pengujian kecil. Ketiga LUN dalam format NTFS.

Setelah LUN dibuat, Inisiator iSCSI dikonfigurasikan pada kedua node Server 2012. Untuk menambahkan target iSCSI, Inisiator iSCSI dipilih dari menu Alat di Manajer Server. Pada tab Penemuan, saya mengklik tombol Temukan Portal. Hasilnya, kotak dialog Discover Portal muncul, di mana alamat IP (192.168.0.1) dan port iSCSI (3260) dari jaringan SAN dimasukkan.

Saya kemudian pergi ke tab Target dan mengklik tombol Hubungkan. Di kotak dialog Connect To Target, saya memasukkan nama target iSCSI SAN. Itu diperoleh dari properti SAN. Namanya bergantung pada penyedia SAN, nama domain, dan nama LUN yang dibuat. Selain nama target, saya mengatur mode Tambahkan koneksi ini ke daftar Target Favorit.

Setelah pengaturan iSCSI selesai, LUN ini akan muncul di tab Target pada Inisiator iSCSI. Untuk memasang LUN secara otomatis ketika Server 2012 dimulai, saya memastikan LUN tersebut terdaftar di tab Target Favorit, seperti yang ditunjukkan pada Layar A.

Layar A: Mengonfigurasi Inisiator iSCSI

Terakhir, nama huruf ditetapkan ke LUN menggunakan snap-in Manajemen Disk konsol manajemen Microsoft(MMC). Saya memilih Q untuk disk kuorum dan W untuk disk yang digunakan untuk mesin virtual dan Cluster Shared Volumes (CSV). Setelah janji temu sebutan surat Anda harus menugaskannya terlebih dahulu ke node yang sama. Kemudian Anda perlu membuat disk offline dan membuat tugas serupa pada node kedua. Hasil penetapan huruf drive untuk satu node ditampilkan di Layar B. Saat Anda membuat cluster, drive akan ditampilkan sebagai penyimpanan yang tersedia.



Teknologi informasi berkembang pesat; jika sebelumnya virtualisasi dan cluster merupakan bidang organisasi besar, kini teknologi tersebut sudah tersedia usaha kecil. Virtualisasi memungkinkan Anda menghemat sumber daya perangkat keras secara signifikan, tetapi pada saat yang sama membebankan persyaratan toleransi kesalahan yang jauh lebih serius, jadi Anda harus mempertimbangkannya bahkan pada tahap perencanaan. tindakan yang diperlukan untuk memastikannya. Salah satu langkah tersebut adalah pembuatan cluster failover.

Mari kita mulai dengan fakta bahwa istilah tersebut toleran terhadap kesalahan tidak sepenuhnya berlaku untuk solusi cluster, ini muncul sebagai akibat dari terjemahan istilah yang salah cluster kegagalan. Terjemahan yang benar adalah dengan kegagalan, meskipun saat ini istilah lain semakin banyak digunakan - ketersediaan tinggi, yang menurut kami paling akurat mencerminkan inti permasalahan.

Untuk memahami mengapa cluster ini tidak toleran terhadap kesalahan, mari kita lihat lebih dekat desain dan skema operasinya. Mari kita segera perjelas bahwa cluster digunakan tidak hanya untuk memastikan toleransi kesalahan, skema cluster juga digunakan untuk menyeimbangkan beban atau peningkatan kekuatan komputasi. Namun, dalam kerangka materi ini kita akan membahas secara khusus tentang cluster dengan ketersediaan tinggi.

Skema cluster klasik berisi setidaknya dua node dan penyimpanan bersama, yang saling terhubung oleh beberapa koneksi jaringan.

Pertama, ini adalah jaringan layanan cluster untuk transmisi sinyal "denyut nadi" (detak jantung), yang melaluinya cluster memonitor status node-nya (ditunjukkan dengan warna merah pada diagram), jaringan penyimpanan (SAN, biru), dalam solusi murah paling sering adalah iSCSI melalui jaringan Ethernet terpisah, tetapi bisa juga berupa FibreChanell atau teknologi lainnya. Untuk melayani klien, cluster terhubung ke jaringan lokal yang ada.

Menurut skema operasi, node dapat beroperasi dalam mode tersebut aktif-pasif atau aktif-aktif. Dalam kasus pertama, semua permintaan klien dilayani oleh salah satu node, node kedua mulai beroperasi hanya jika node pertama gagal. Opsi kedua melibatkan pemrosesan permintaan klien oleh kedua node, sementara penyeimbangan beban dan peningkatan sumber daya komputasi juga dimungkinkan dengan menambahkan node cluster baru. Jika salah satu node gagal, permintaan klien diproses oleh node yang tersisa.

Poin penting adalah bahwa setiap permintaan klien dilayani hanya oleh salah satu node cluster, dan jika gagal, klien yang terhubung akan ditolak layanannya, namun mereka dapat segera beralih ke node tersisa yang tersedia. Itulah sebabnya skema seperti itu tidak toleran terhadap kesalahan; kegagalan node menyebabkan penolakan layanan, namun klien selalu dapat terhubung ke node lain yang berfungsi, yang menerapkan skema ketersediaan layanan tinggi.

Pembaca yang penuh perhatian harus memperhatikan keberadaan titik kegagalan pada diagram di atas - penyimpanan. Memang benar, untuk mencapai ketersediaan tinggi, penyimpanan juga harus toleran terhadap kesalahan atau ketersediaan tinggi. Hal ini dapat diimplementasikan baik dengan membeli model perangkat keras atau perangkat lunak khusus, termasuk yang berbasis perangkat lunak sumber terbuka.

Jika iSCSI digunakan sebagai penyimpanan, maka jaringan layanan cluster dan jaringan penyimpanan dapat digabungkan. Namun pada saat yang sama, kita masih memiliki titik kegagalan - jaringan, jadi dalam sistem kritis kita harus menggunakan setidaknya dua jaringan untuk mengakses SAN. Selain meningkatkan keandalan, pendekatan ini memungkinkan Anda meningkatkan throughput, yang juga penting.

Belum lagi solusi perangkat lunak yang memungkinkan Anda membuat cluster failover hanya pada dua node, menggunakannya sebagai SAN penyimpanan maya. Misalnya, StarWind Virtual SAN, yang membuat penyimpanan virtual iSCSI berdasarkan disk lokal masing-masing node. Hal ini memungkinkan Anda mengurangi biaya pembuatan dan hosting penyimpanan yang toleran terhadap kesalahan, namun pada saat yang sama meningkatkan persyaratan kinerja jaringan antar node cluster, karena saat menulis ke disk, semua perubahan segera disinkronkan antar node.

Setelah Anda membuat cluster, cluster tersebut akan muncul di lingkungan jaringan sebagai host lain dengan nama dan alamat IP sendiri. Setelah itu kita perlu menerapkan peran yang sangat tersedia di dalamnya. Bisa jadi server file, SQL atau Exchange, serta aplikasi lain yang mendukung clustering. Setiap peran kluster failover juga muncul di jaringan sebagai host terpisah yang diakses klien. Pada saat yang sama, klien tidak tahu node mana yang menjalankan permintaannya; jika terjadi kegagalan, misalnya, karena kegagalan salah satu node, ia hanya perlu mengulangi permintaan ke layanan.

Saat ini, cluster semakin banyak digunakan untuk sistem virtualisasi; dalam hal ini, mesin virtual didistribusikan secara manual oleh administrator antar node, dengan mempertimbangkan sumber daya komputasinya. Untuk setiap mesin virtual, node yang tersedia ditunjukkan dalam urutan prioritas. Hal ini memungkinkan Anda menghindari mesin virtual intensif sumber daya yang berjalan pada node lemah. Jika salah satu node cluster dimatikan dengan benar, semua mesin virtual yang berjalan di dalamnya akan ditransfer ke node lain tanpa henti atau jeda menggunakan mekanisme migrasi langsung.

Jika sebuah node gagal, semua mesin virtual yang berjalan di dalamnya akan di-restart pada node lain, sesuai dengan prioritas yang ditetapkan.

Untuk menghindari beban berlebihan pada penyimpanan dan jaringan penyimpanan, Anda dapat mengatur penundaan pemulihan dalam pengaturan mesin virtual, sehingga mesin virtual yang penting dapat segera dimulai ulang, dan mesin virtual yang tidak penting - setelah beberapa waktu.

Dalam materi berikutnya, kita akan melihat implementasi praktis dari cluster failover berdasarkan Hyper-V.

  • Tag:

Harap aktifkan JavaScript untuk melihat

Halo semuanya, hari ini saya akan memberi tahu Anda cara menyiapkan cluster failover Hyper-V di Windows Server 2012 R2. Izinkan saya mengingatkan Anda bahwa kami telah mempertimbangkan hal yang sama untuk Hyper-V di Windows Server 2012 R2.

Sudah pada tahap perencanaan infrastruktur virtual masa depan Anda, Anda harus memikirkan untuk memastikan ketersediaan tinggi mesin virtual Anda. Jika dalam situasi normal ketidaktersediaan sementara salah satu server masih dapat diterima, maka jika host Hyper-V berhenti, sebagian besar infrastruktur tidak akan dapat diakses. Sehubungan dengan hal ini, kompleksitas administrasi meningkat tajam - hampir tidak mungkin untuk menghentikan atau mem-boot ulang host selama jam kerja, dan jika terjadi kegagalan perangkat keras atau kegagalan perangkat lunak, kita akan mengalami keadaan darurat tingkat perusahaan.

Semua ini dapat secara serius mengurangi antusiasme terhadap manfaat virtualisasi, namun ada jalan keluarnya dan itu terletak pada penciptaan cluster ketersediaan tinggi. Kami telah menyebutkan bahwa istilah "toleransi kesalahan" tidak sepenuhnya benar dan oleh karena itu saat ini karakteristik lain semakin banyak digunakan, yang lebih akurat mencerminkan keadaan - "sangat tersedia".

Untuk menciptakan sistem toleransi kesalahan yang lengkap, setiap titik kegagalan perlu dihilangkan, yang dalam banyak kasus memerlukan investasi finansial yang serius. Pada saat yang sama, sebagian besar situasi memungkinkan adanya beberapa titik kegagalan jika menghilangkan konsekuensi kegagalannya akan lebih murah dibandingkan berinvestasi pada infrastruktur. Misalnya, Anda dapat meninggalkan penyimpanan toleransi kesalahan yang mahal dan memilih dua server murah dengan jumlah keranjang yang cukup, salah satunya dikonfigurasi sebagai cadangan dingin, jika server pertama gagal, kami cukup mengatur ulang disk dan menyalakan yang kedua; .

Pada materi ini, kita akan membahas konfigurasi paling sederhana dari cluster failover, yang terdiri dari dua node (node) SRV12R2-NODE1 dan SRV12R2-NODE2 yang masing-masing menjalankan Windows Server 2012 R2. Prasyarat untuk server ini adalah penggunaan prosesor dari pabrikan yang sama, hanya Intel atau AMD saja, jika tidak, migrasi mesin virtual antar node tidak akan mungkin dilakukan. Setiap node harus terhubung ke dua jaringan: LAN perusahaan dan jaringan penyimpanan SAN.

Prasyarat kedua untuk membuat cluster adalah keberadaan Direktori Aktif yang diterapkan; dalam diagram kami, ini diwakili oleh pengontrol domain SRV12R2-DC1.

Penyimpanan dibuat menggunakan teknologi iSCSI dan dapat diimplementasikan pada platform apa pun yang sesuai, dalam hal ini adalah server lain di Windows Server 2012 R2 - SRV12R2-STOR. Server penyimpanan dapat tersambung ke jaringan perusahaan dan menjadi anggota domain, namun ini bukan keharusan. Throughput jaringan penyimpanan harus minimal 1 Gbit/dtk.

Langkah selanjutnya adalah menambahkan komponen Pengelompokan Failover.

Pada halaman konfigurasi sakelar virtual, pilih adaptor jaringan yang tersambung ke jaringan perusahaan.

Migrasi mesin virtual biarkan dalam keadaan mati.

Kami membiarkan parameter lainnya tidak berubah. Menginstal peran Hyper-V akan memerlukan reboot, setelah itu kita mengkonfigurasi node kedua dengan cara yang sama.

Lalu mari beralih ke server penyimpanan; kami menjelaskan cara mengkonfigurasi penyimpanan iSCSI berdasarkan Windows Server 2012 di artikel ini, tetapi ini tidak penting, Anda dapat menggunakan server target iSCSI apa pun. Agar cluster berfungsi normal, kita perlu membuat setidaknya dua disk virtual: disk saksi kuorum dan disk untuk menyimpan mesin virtual. Disk saksi adalah sumber daya layanan cluster; dalam artikel ini kami tidak akan membahas peran dan mekanisme operasinya; cukup mengalokasikan ukuran minimum untuknya, dalam kasus kami 1GB.

Buat target iSCSI baru dan izinkan akses ke target tersebut oleh dua inisiator, yang akan menjadi node cluster.

Dan cocokkan disk virtual yang dibuat dengan tujuan ini.

Setelah mengkonfigurasi penyimpanan, kami akan kembali ke salah satu node dan menghubungkan disk dari penyimpanan. Ingatlah bahwa jika server penyimpanan juga terhubung ke jaringan lokal, maka saat menghubungkan ke target iSCSI, tentukan aksesnya jaringan penyimpanan.

Kami menginisialisasi dan memformat disk yang terhubung.

Lalu kita pergi ke node kedua dan juga menghubungkan disk; tidak perlu memformatnya, kita cukup menetapkan huruf dan label volume yang sama. Ini tidak perlu, tetapi disarankan untuk melakukan ini demi keseragaman pengaturan, ketika disk yang sama di semua node memiliki sebutan yang sama, akan lebih sulit untuk menjadi bingung dan membuat kesalahan.

Nanti kita buka Manajer Hyper-V dan mari beralih ke menyiapkan sakelar virtual. Nama mereka di kedua node seharusnya sepenuhnya bertepatan.

Sekarang kita siap membuat cluster. Mari kita luncurkan peralatannya Manajer Kluster Failover dan pilih tindakan Periksa konfigurasi.

Di pengaturan wizard, tambahkan node yang kami konfigurasikan dan pilih untuk menjalankan semua pengujian.

Pemeriksaan memerlukan waktu yang cukup lama; jika terjadi kesalahan, kesalahan tersebut harus diperbaiki dan pemeriksaan diulangi.

Jika tidak ditemukan kesalahan signifikan, wizard akan selesai dan akan meminta Anda membuat cluster pada node yang dipilih.

Namun, jika pemindaian menghasilkan peringatan, kami menyarankan Anda mempelajari laporan tersebut dan mencari tahu dampak peringatan tersebut dan apa yang perlu dilakukan untuk menghilangkannya. Dalam kasus kami, wizard memperingatkan kami tentang kurangnya redundansi dalam koneksi jaringan cluster; secara default, cluster tidak menggunakan jaringan iSCSI, yang nantinya mudah diperbaiki.

Ketika sebuah cluster dibuat, objek virtual dibuat untuknya, yang memiliki nama dan alamat jaringan. Kami akan menunjukkannya di tempat terbuka Wisaya Pembuatan Klaster.

Tidak akan ada pertanyaan lagi dan wizard akan memberitahu kita bahwa cluster telah dibuat, sambil memberikan peringatan tentang tidak adanya disk saksi.

Tutup wizard dan perluas pohon di sebelah kiri hingga sejajar Penyimpanan - Disk, pada tindakan yang tersedia di sebelah kanan, pilih Tambahkan penggerak dan tunjukkan drive yang terhubung di jendela yang terbuka, dalam kasus kami ada dua di antaranya.

Kemudian klik kanan pada objek cluster di pohon sebelah kiri dan pilih Langkah Tambahan - Konfigurasikan pengaturan kuorum klaster.

Sekarang mari kita siapkan disk penyimpanan, semuanya menjadi lebih sederhana, cukup klik kanan pada disk dan tentukan: Tambahkan ke penyimpanan bersama cluster.

Agar disk tersebut dapat digunakan oleh beberapa anggota cluster sekaligus, a CSVFS- sistem file berkerumun yang diimplementasikan di atas NTFS, yang pertama kali muncul di Windows Server 2008 R2 dan memungkinkan penggunaan fungsi seperti migrasi Dinamis (Langsung), mis. transfer mesin virtual antar node cluster tanpa menghentikan operasinya.

Penyimpanan bersama tersedia di semua node cluster di lokasi C:\ClusterStorage\VolumeN. Harap dicatat bahwa ini bukan hanya folder di drive sistem, tetapi titik pemasangan untuk volume bersama cluster.

Setelah selesai dengan disk, mari beralih ke pengaturan jaringan, untuk ini kita pergi ke bagian Jaringan. Untuk jaringan yang terhubung ke jaringan perusahaan, tunjukkan dan Izinkan klien untuk terhubung melalui jaringan ini. Untuk jaringan penyimpanan kita tinggalkan saja Izinkan cluster untuk menggunakan jaringan ini, sehingga memberikan redundansi koneksi jaringan yang diperlukan.

Ini menyelesaikan pengaturan cluster. Untuk bekerja dengan mesin virtual berkerumun, Anda harus menggunakan Manajer Kluster Failover, bukan Manajer Hyper-V, yang dirancang untuk mengelola mesin virtual yang berlokasi secara lokal.

Untuk membuat mesin virtual, buka bagian tersebut Peran dari menu klik kanan pilih Mesin virtual - Membuat mesin virtual, hal yang sama dapat dilakukan melalui panel Tindakan Kanan.

Pertama, pilih host tempat mesin virtual akan dibuat. Setiap mesin virtual berjalan pada node cluster tertentu, bermigrasi ke node lain ketika node tersebut berhenti atau gagal.

Setelah memilih sebuah node, Wizard Pembuatan Mesin Virtual standar akan terbuka; bekerja dengannya tidaklah sulit, jadi kami hanya akan fokus pada poin-poin penting saja. Sebagai lokasi mesin virtual Perlu tentukan salah satu volume bersama cluster C:\ClusterStorage\VolumeN.

Hard disk virtual juga harus ditempatkan di sini; Anda juga dapat menggunakan hard disk virtual yang ada dengan terlebih dahulu menyalinnya ke penyimpanan bersama.

Setelah membuat mesin virtual, buka Pilihan dan pada titik Prosesor - Kompatibilitas centang kotaknya Transfer ke komputer fisik dengan versi prosesor berbeda, ini akan memungkinkan migrasi antar node dengan model prosesor berbeda satu produsen. Migrasi dari Intel ke AMD atau sebaliknya mustahil.

Lalu pergi ke Adaptor jaringan - Akselerasi perangkat keras dan pastikan opsi yang dipilih didukung oleh kartu jaringan semua node cluster atau nonaktifkan.

Jangan lupa untuk mengonfigurasi tindakan otomatis saat memulai dan mematikan sebuah node; jika Anda memiliki mesin virtual dalam jumlah besar, jangan lupa untuk mengatur penundaan startup untuk menghindari beban berlebihan pada sistem.

Setelah selesai dengan Parameter pergi ke Properti mesin virtual dan tunjukkan node pilihan pemilik peran ini dalam urutan dan prioritas menurun, mesin dengan prioritas lebih tinggi bermigrasi terlebih dahulu.

Di penanda Penanganan Kegagalan tetapkan jumlah kegagalan yang dapat diterima untuk mesin virtual per unit waktu, ingatlah bahwa kegagalan tidak hanya dianggap sebagai kegagalan node, tetapi juga hilangnya detak jantung mesin virtual, misalnya pembekuannya. Selama penyiapan dan pengujian, masuk akal untuk menentukan nilai yang lebih besar.

Konfigurasikan juga Memulihkan penempatan, opsi ini memungkinkan Anda untuk mentransfer mesin virtual kembali ke pemilik yang paling disukai ketika mesin tersebut dikembalikan ke operasi normal. Untuk menghindari beban berlebihan, gunakan opsi penundaan pemulihan.

Ini menyelesaikan penyiapan mesin virtual, kita dapat meluncurkan dan bekerja dengannya.

Sekarang adalah waktunya untuk menguji migrasi, untuk melakukannya, klik kanan pada mesin dan pilih Pindah - Migrasi Langsung - Pilih Node. Mesin virtual harus berpindah ke node yang dipilih tanpa dimatikan.

Bagaimana migrasi terjadi di lingkungan kerja? Katakanlah kita perlu mematikan atau me-reboot node pertama tempat mesin virtual sedang berjalan. Setelah menerima perintah untuk mematikan, node memulai transfer mesin virtual:

Shutdown ditangguhkan hingga semua mesin virtual telah ditransfer.

Ketika node dipulihkan ke layanan, klaster, jika failover diaktifkan, memulai proses sebaliknya, mentransfer mesin virtual kembali ke pemilik pilihannya.

Apa yang terjadi jika node yang menghosting mesin virtual mengalami crash atau reboot? Semua mesin virtual juga akan mogok, tetapi akan segera dimulai ulang pada node yang berfungsi sesuai dengan daftar pemilik pilihan.

Seperti yang telah kami katakan, istilah “fail-safe”, yang telah mengakar dalam literatur teknis dalam negeri, tidak tepat dan akan lebih tepat jika diterjemahkan sebagai “dengan penanganan kegagalan”, atau menggunakan konsep “tinggi ketersediaan”, yang mencerminkan keadaan dengan paling akurat.

Kluster Hyper-V tidak memberikan toleransi kesalahan pada mesin virtual; kegagalan node mengakibatkan kegagalan semua mesin yang dihosting di dalamnya, namun memungkinkan Anda memastikan ketersediaan layanan yang tinggi dengan memulihkannya secara otomatis dan memastikan waktu henti seminimal mungkin. Ini juga memungkinkan Anda menyederhanakan administrasi infrastruktur virtual secara signifikan dengan memungkinkan Anda memindahkan mesin virtual antar node tanpa mengganggu pekerjaan mereka.

Andrey Biryukov

Menyebarkan cluster berdasarkan Windows Server 2003

Cluster failover tersebar luas di jaringan perusahaan menengah dan besar. Namun bagi banyak administrator, penerapan dan pemeliharaan sistem cluster masih menimbulkan banyak pertanyaan. Mari kita pertimbangkan implementasi cluster failover berdasarkan Windows Server 2003.

Memulai

Salah satu syarat yang diperlukan untuk kestabilan fungsi jaringan organisasi besar adalah toleransi kesalahan. Bahkan kegagalan sesaat pun dapat menimbulkan konsekuensi yang sangat tidak menyenangkan.

Jadi, misalnya, saat server email di-boot ulang di tengah hari kerja, karyawan perusahaan akan menerima pesan kesalahan dan, biasanya, memanggil layanan tersebut dukungan teknis perusahaan, menambahkan lebih banyak pekerjaan ke administrator sistem.

Hal ini sangat tidak menyenangkan ketika manajemen melaporkan tidak tersedianya surat atau layanan lainnya. Anda dapat menghindari masalah seperti itu dengan menggunakan kluster failover.

Cluster server adalah sekelompok node independen yang berinteraksi sebagai satu sistem. Mereka menggunakan database cluster umum, yang memungkinkan pemulihan jika ada node yang gagal.

Solusi ini dapat berupa perangkat keras atau perangkat lunak. Pilihannya bergantung pada ukuran organisasi Anda, aplikasi bisnis penting, dan tentu saja anggaran yang dialokasikan untuk infrastruktur TI.

Dalam artikel saya, saya akan mempertimbangkannya implementasi perangkat lunak berbasis cluster dua node layanan Microsoft Layanan Clustering. Solusi ini paling cocok untuk organisasi skala menengah dengan anggaran TI yang kecil.

Pertama-tama, saya akan mengajukan masalah yang akan menjadi fokus artikel ini.

Kami memiliki dua server dengan perangkat keras yang identik. Persyaratan identitas tidak wajib, namun diinginkan agar kekuatan server serupa.

Hal ini diperlukan untuk menggabungkannya ke dalam cluster failover. Sebagai contoh menyiapkan sumber daya failover, saya akan menyiapkan layanan Berbagi File.

Kita akan membahas lebih lanjut tentang jenis sumber daya yang dikelompokkan nanti.

Tentang edisi dan lisensi

Sebelum kita mulai menjelaskan proses instalasi dan konfigurasi cluster, kita perlu memutuskan edisi sistem operasi yang akan digunakan, dan juga mempertimbangkan masalah perizinan.

Saat membangun sebuah cluster, ingatlah yang paling umum Edisi Windows Server 2003 Standard tidak mendukung pengelompokan.

Oleh karena itu, ketika membangun sistem yang toleran terhadap kesalahan, Anda harus menggunakan Windows Server 2003 Enterprise Edition.

Omong-omong, Edisi perusahaan juga harus digunakan saat membangun cluster untuk Microsoft Exchange dan Microsoft SQLServer 2000. Jika tidak, Anda tidak akan dapat mengelompokkan email dan database.

Mengenai masalah perizinan, perlu dilakukan pembelian lisensi server sistem operasi untuk setiap node cluster. Ditambah lisensi akses klien (CAL) dalam jumlah yang sama dengan satu server.

Izinkan saya menjelaskan dengan sebuah contoh. Jika organisasi Anda memiliki 250 pengguna dan Anda menyebarkan cluster dua node, maka Anda perlu membeli dua lisensi server untuk Windows Server 2003 dan 250 lisensi akses klien.

Oleh karena itu, jumlah node di cluster tidak mempengaruhi jumlah lisensi klien.

Konsep baru

Untuk lebih memahami konsep clustering, kita akan melihat beberapa konsep dasar.

Cluster failover biasanya terdiri dari empat node yang berbagi sumber daya disk untuk pertukaran data. Sumber daya ini juga disebut perangkat kuorum.

Idealnya, perangkat kuorum ini harus berupa penyimpanan data perangkat keras terpisah dengan dukungan toleransi kesalahannya sendiri (disk RAID 1, RAID 5) yang terhubung ke semua node cluster.

Solusi serupa disediakan oleh IBM, EMC dan produsen lainnya.

Namun jika kemampuan finansial perusahaan terbatas, untuk membuat perangkat kuorum, Anda dapat menggunakan disk pada bus SCSI bersama yang terhubung ke semua node cluster.

Cluster ini berisi dua jenis jaringan yang berbeda: jaringan pribadi, yang digunakan untuk mendukung koneksi antara node cluster, dan jaringan penggunaan umum(jaringan area lokal) yang digunakan oleh klien cluster untuk terhubung ke layanan di cluster tersebut. Kedua jaringan ini dapat berbagi satu kartu jaringan dan satu lagi koneksi fisik, tapi lebih baik memisahkannya.

Karena koneksi antar node cluster berpotensi mengalami kegagalan, maka koneksi tersebut harus selalu menyertakan redundansi.

Jika dua antarmuka jaringan digunakan, maka jika salah satunya gagal, administrator dapat beralih menggunakan antarmuka kedua tanpa banyak usaha. Selain itu, penggunaan dua antarmuka meningkatkan kecepatan pertukaran data dan pada akhirnya meningkatkan kecepatan seluruh cluster secara keseluruhan.

Berikutnya konsep penting pengelompokan adalah kelompok.

Grup adalah blok untuk transisi jika terjadi kegagalan. Setiap grup berisi satu atau lebih sumber daya. Jika ada sumber daya dalam grup yang gagal, seluruh grup akan menjalani transisi penutupan bersama sesuai dengan kebijakan transisi penutupan yang ditentukan untuk grup tersebut.

Pada waktu tertentu, sebuah grup hanya dapat dimiliki oleh satu node. Jika ada sumber daya dalam grup yang gagal, sumber daya tersebut harus dipindahkan ke node alternatif bersama dengan semua sumber daya lain dalam grup tersebut.

Ketika penyebab kegagalan node sumber teratasi, seluruh grup ditransfer kembali ke node sumber sesuai dengan kebijakan failback untuk grup tersebut.

Sumber daya adalah segalanya bagi kami

Konsep selanjutnya adalah sumber daya – elemen logis atau fisik yang dapat dihubungkan atau diputuskan dari jaringan.

Windows Server 2003 Enterprise Edition mencakup beberapa jenis sumber daya yang berbeda:

  • Disk Fisik;
  • DHCP;
  • MENANG;
  • Spooler Cetak;
  • Berbagi File;
  • Alamat Protokol Internet;
  • Kuorum Lokal;
  • Kumpulan Node Mayoritas;
  • Nama Jaringan;
  • Aplikasi Generik;
  • Skrip Generik;
  • Layanan Generik.

Beberapa kata tentang setiap jenis sumber daya.

Disk Fisik digunakan untuk sumber daya kuorum. Diperlukan untuk semua server di cluster.

DHCP dan WINS digunakan sebagai sumber daya cluster untuk memberikan toleransi kesalahan pada layanan ini.

Print Spooler memungkinkan Anda mengelompokkan layanan pencetakan.

Jenis sumber daya Berbagi File memungkinkan Anda mengelola sistem file bersama dalam tiga cara berbeda:

  • Berbagi file standar ketika hanya folder tingkat atas yang diwakili oleh nama bersama yang terlihat.
  • Dengan subfolder bersama ketika folder tingkat atas dan masing-masing subfolder terdekatnya dibagikan dengan nama yang berbeda.
  • Akar otonom dari sistem file terdistribusi Dfs (Sistem File Terdistribusi). Namun Anda tidak dapat menggunakan sumber daya File Share server berkerumun sebagai bagian dari root failover Dfs.

Alamat Protokol Internet dan Nama Jaringan digunakan untuk membuat server virtual yang memungkinkan klien menggunakan nama yang sama untuk mengakses cluster bahkan setelah failover.

Sumber daya Kuorum Lokal digunakan untuk mengelola disk sistem pada node cluster lokal.

Kumpulan Node Mayoritas digunakan untuk mengelola konfigurasi data cluster, yang dapat ditempatkan di memori cluster atau di luar perangkat ini. Digunakan untuk merekonsiliasi data antar perangkat yang tersebar secara geografis.

Jenis sumber daya Aplikasi Generik memungkinkan Anda mengelola dalam sebuah cluster aplikasi reguler, tidak mengenali kehadiran mereka di cluster.

Generic Script – pengelolaan skrip sistem operasi sebagai sumber daya cluster.

Layanan Generik – memungkinkan Anda mengelola layanan Windows Server 2003 sebagai sumber daya cluster.

Pentingnya Perencanaan

Untuk operasi yang stabil Dengan cluster, Anda perlu merencanakan terlebih dahulu aplikasi mana yang akan berjalan, dan Anda harus memilih dengan tepat aplikasi mana yang dapat Anda lakukan tanpanya dan aplikasi mana yang harus didukung dalam segala keadaan.

Pertama, Anda perlu menentukan jumlah grup atau server virtual.

Aplikasi dan sumber daya yang terletak di grup yang sama akan ditransfer bersama ke satu server saat terputus. Artinya, Anda perlu menentukan aplikasi mana yang bergantung satu sama lain dan perlu bekerja sama.

Oleh karena itu, sebelum Anda mulai menerapkan klaster, Anda perlu membuat daftar semua aplikasi di lingkungan Anda, menentukan dengan jelas aplikasi mana yang dapat di-failover dan mana yang memerlukan transisi penghentian.

Perhatikan bahwa sumber daya tidak dapat menjangkau grup, jadi jika beberapa aplikasi bergantung pada sumber daya, aplikasi tersebut harus berada dalam grup yang sama atau dalam satu grup. server maya, maka kebijakan transisi yang sama mengenai penutupan dan pemulihan akan digunakan.

Izinkan saya memberi Anda contoh kecil dalam membangun pohon ketergantungan untuk sumber daya File Share.

Jelas sekali, sumber daya ini bergantung pada Disk Fisik, karena ini adalah sumber daya utama yang digunakan oleh semua node di cluster. Selanjutnya, untuk sumber daya bersama, hal ini penting nama jaringan Nama Jaringan. Namun pada gilirannya, Nama Jaringan tidak dapat digunakan tanpa Alamat IP.

Jadi, kita mendapatkan ketergantungan berikut: sumber daya File Share secara eksplisit bergantung pada Disk Fisik dan Nama Jaringan dan secara implisit pada Alamat IP.

Jika Anda lupa menentukan ketergantungan apa pun, Anda akan menerima pesan kesalahan selama proses instalasi sumber daya.

Sebagai penutup topik perencanaan, saya ingin mengingatkan Anda bahwa setiap node cluster harus memiliki daya yang cukup dan tidak dibebani dengan aplikasi tambahan yang tidak berkerumun, karena jika, setelah berpindah, pemilik sumber daya ternyata memiliki lebih sedikit server yang kuat, hal ini tentu akan mempengaruhi kinerja aplikasi, dan mungkin menyebabkan kegagalan.

Instalasi

Setelah membahas fitur implementasi Microsoft Layanan Klaster, mari kita lanjutkan langsung ke penerapan.

Pertama-tama, kita menginstal Windows Server 2003 Enterprise Edition pada setiap node.

Proses instalasinya sendiri standar dan tidak ada gunanya menjelaskannya di artikel. Satu-satunya hal yang layak disebutkan adalah pengalamatan IP. Alamat tetap harus segera ditetapkan agar tidak ada masalah koneksi di kemudian hari.

Setelah instalasi berhasil, Anda perlu memberi nama pada setiap node cluster. Untuk mempermudah, kita akan memanggil node Node1 dan Node2.

Di jendela berikutnya, Anda harus menentukan nama domain tempat node berada, serta nama cluster (lihat Gambar 1).

Jika pemeriksaan semua poin berhasil, maka di jendela berikutnya Anda perlu menentukan alamat IP cluster.

Kemudian Anda perlu menentukan akun di mana cluster akan diluncurkan. Ini bisa berupa akun lama atau baru. Pengguna ini akan diberikan hak administrator lokal pada semua node cluster.

Terakhir, kita beralih ke halaman terakhir yang menampilkan data konfirmasi. Di sini Anda dapat menentukan perangkat kuorum, seperti yang ditunjukkan pada Gambar. 3.

Mengklik "Berikutnya" akan memulai proses instalasi cluster, yang secara lahiriah mirip dengan analisis konfigurasi yang telah dijelaskan.

Setelah instalasi berhasil, jendela administrasi untuk cluster baru yang kita buat akan terbuka untuk pekerjaan lebih lanjut.

Atasi kesalahan

Saat memasang cluster, Anda mungkin mengalami berbagai masalah. Saya akan menjelaskan solusi untuk beberapa di antaranya. Biasanya, sebagian besar masalah diidentifikasi pada tahap analisis konfigurasi cluster. Pada Gambar. Gambar 4 menunjukkan seperti apa tampilannya.

Seperti yang Anda lihat, dua kesalahan, atau lebih tepatnya masalah, ditemukan selama analisis. Karena bilah Tugas Selesai berwarna hijau, Anda dapat melanjutkan penginstalan, namun lebih baik selesaikan masalahnya terlebih dahulu.

Jadi, apa yang ditemukan selama analisis sistem:

  • Tidak ada perangkat kuorum yang ditemukan. Seperti yang dibahas sebelumnya, ini adalah disk SCSI yang digunakan bersama oleh semua node di cluster. Jika Anda menerima pesan seperti itu, periksa apakah server terhubung ke bus SCSI dengan benar. Periksa juga ketersediaannya dari disk ini di bagian “Alat Administratif -> Manajemen Komputer -> Manajemen Disk”.
  • Hanya satu adaptor jaringan yang ditemukan di server. Kebanyakan server industri memiliki dua kartu jaringan, jadi ini adalah kesalahan yang cukup jarang terjadi. Namun jika muncul, maka Anda perlu memeriksa fungsionalitas adaptor kedua. Jika Anda hanya ingin menggunakan satu antarmuka, gunakan deskripsi dari bagian “Menambahkan node”.

Kesalahan lain yang muncul selama proses analisis adalah penetapan alamat IP secara dinamis adaptor jaringan. Seperti yang telah saya sebutkan, selama proses instalasi Anda perlu menetapkan alamat statis adaptor jaringan.

Untuk mengidentifikasi kesalahan yang lebih kompleks, Anda dapat menggunakan tombol “Lihat Log” untuk melihat log peristiwa terperinci.

Menambahkan node

Sekarang Anda perlu menambahkan node ke cluster. Tapi pertama-tama, mari kita lakukan beberapa hal pengaturan tambahan. Di konsol Administrasi Cluster, pilih “Konfigurasi Cluster”, lalu “Jaringan” (lihat Gambar 5).

Setiap node cluster memiliki dua antarmuka jaringan, satu terhubung ke jaringan lokal (LAN), dan yang kedua digunakan untuk komunikasi antar node cluster (Heartbeat).

Buka tab “Properti” untuk masing-masingnya secara bergantian. antarmuka jaringan.

Untuk LAN, Anda harus menentukan “Klien Akses Saja (khusus publik)” di properti, dan untuk Heartbeat, pilih “Hanya Komunikasi Klaster Internal (jaringan pribadi)”.

Jadi, sekarang antarmuka LAN kita hanya akan digunakan untuk interaksi eksternal, dan Heartbeat hanya akan digunakan untuk pertukaran informasi antar node cluster. Hal ini memungkinkan Anda untuk meningkatkan kinerja sistem secara keseluruhan.

Ingatlah juga untuk membatasi segmen di tingkat jaringan. Artinya, segmen yang berisi koneksi Heartbeat harus terhubung ke switch atau hub tersendiri (tidak ke yang sama jaringan fisik sama seperti LAN!) untuk alasan keamanan dan keandalan.

Dalam hal ini, penggunaan hub mungkin lebih disukai, karena tidak berisi cache alamat MAC, dan jaringan Heartbeat dalam hal ini hanya digunakan untuk memeriksa ketersediaan node dan memilih yang baru jika terjadi kegagalan.

Jika Anda ingin menggunakan satu antarmuka saja, tentukan Akses Internal dan Klien di properti LAN dan Heartbeat. Dalam hal ini, LAN dan Heartbeat akan berisi satu antarmuka fisik.

Jadi, kami telah mengoptimalkan pengaturan antarmuka jaringan node cluster dan sekarang melanjutkan ke tahap berikutnya - menambahkan node kedua. Untuk melakukan ini, di server kedua kami juga menjalankan “Alat Administratif -> Administrator Cluster”.

Baru sekarang pilih “Tambahkan node ke cluster” dan tunjukkan nama cluster.

Langkah selanjutnya kita masukkan nama server yang akan digunakan pada cluster tersebut.

Analisis konfigurasi kemudian dimulai. Jika analisis selesai tanpa kesalahan serius, pada langkah berikutnya kami menunjukkan akun yang digunakan saat membuat cluster. Selanjutnya, layanan cluster diinstal pada server kedua. Hasil yang diperoleh ditunjukkan pada Gambar. 6.

Faktanya, ini mengakhiri proses instalasi cluster. Jika Anda perlu menambahkan lebih banyak node, cukup melakukan operasi di atas untuk menambahkan server.

Menyiapkan sumber daya

Sekarang kita perlu menghubungkan sumber daya yang akan digunakan di cluster kita.

Seperti disebutkan di awal artikel, kami akan menyiapkan sumber daya untuk layanan Berbagi File.

Untuk melakukan ini, pertama-tama kita akan membuat grup baru di server virtual HOME.

Sebelum membuat grup, Anda perlu menentukan lokasinya. Anda tentu saja dapat menempatkan sumber daya di grup Klaster utama, namun lebih baik segera mengelompokkannya sesuai dengan tujuannya. Apalagi pengelolaan kebijakan transisi penutupan dilakukan di tingkat kelompok.

Oleh karena itu, untuk membuat sumber File Share kami, Anda perlu melakukan hal berikut:

  • buat grup yang berisi sumber daya yang diperlukan;
  • buat sumber daya bertipe Disk Fisik;
  • buat sumber daya bertipe Alamat IP;
  • buat sumber daya bertipe Nama Jaringan;
  • membuat sumber daya jenis File Share.

Mari kita mulai dengan membuat grup cluster.

Untuk melakukan ini, di konsol “Administrator Klaster”, klik folder “Grup Aktif” untuk server tempat sumber Berbagi File akan ditempatkan, dan pilih “Grup” dari menu “Baru”. Jendela New Group Wizard akan muncul (lihat Gambar 7).

Di jendela berikutnya, Anda harus menentukan pemilik pilihan dari sumber daya Pemilik Pilihan. Anda dapat menentukan beberapa node di sini tergantung pada preferensi Anda.

Misalnya, cukup logis untuk menunjukkan node cluster yang paling kuat dan paling sedikit memuatnya di awal daftar.

Dalam kasus kami, Anda perlu memilih sebuah node dan klik “Tambah”, lalu tambahkan Node 2 dengan cara yang sama. Setelah mengklik tombol “Selesai”, grup akan dibuat.

Namun perhatikan bahwa saat ini dalam keadaan offline, karena tidak ada sumber daya aktif yang terkait dengannya.

Sekarang saatnya membuat sumber daya bertipe Disk Fisik. Untuk melakukan ini, klik kanan pada grup yang baru dibuat dan pilih “Sumber Daya”.

Isi kolom Nama dan Deskripsi dan pilih opsi “Disk Fisik” dari daftar drop-down “Jenis Sumber Daya”.

Pada langkah berikutnya, tentukan kemungkinan pemilik sumber daya Pemilik yang Mungkin. Di sini Anda perlu menunjukkan mesin-mesin yang dapat memuat sumber daya ini (Node1, Node2).

Pada tahap selanjutnya, tentukan parameter disk (Disk Parameters). Daftar drop-down akan menampilkan semua sumber daya Disk Fisik yang dapat dikelola oleh layanan cluster.

Harap dicatat bahwa layanan ini hanya dapat mengelola disk dasar, bukan disk dinamis, dan semua partisi disk ini yang digunakan oleh layanan cluster harus diformat sebagai NTFS.

Setelah menentukan drive, klik tombol “Selesai” untuk membuat sumber daya ini.

Ketiga dalam daftar kita harus membuat sumber daya bertipe Alamat IP.

Dengan analogi dengan bagian sebelumnya, pilih item “Sumber Daya” di grup kami, lalu “Baru”. Kami menunjukkan jenis sumber daya – Alamat IP, lalu – kemungkinan pemiliknya.

Di jendela berikutnya, Dependensi, sumber daya Disk Fisik yang telah kita buat akan muncul. Namun tidak perlu memilihnya, karena dalam hal ini tidak ada ketergantungan.

Pada halaman berikutnya Anda harus menentukan pengaturan untuk alamat IP. Kemudian klik "Selesai".

Mari buat sumber daya bertipe Nama Jaringan. Untuk melakukan ini, Anda perlu mengulangi semua langkah yang kami lakukan sebelumnya untuk jenis sumber daya lainnya.

Namun di bagian Dependensi Anda sekarang perlu menentukan ketergantungan pada sumber daya Alamat IP.

Mari kita lanjutkan ke tahap akhir dalam pembuatan sumber daya cluster File Share.

Mari kita ulangi semua langkah yang sama, tetapi saat menentukan Dependensi, Anda harus memilih ketiga elemen daftar.

Di bagian Tingkat Lanjut, Anda dapat menentukan apakah akan menyembunyikan subdirektori sumber daya bersama.

Sumber daya bersama telah dibuat.

Perhatikan bahwa secara default sumber daya Berbagi File akan memiliki izin Hanya Baca. Anda dapat mengubah pengaturan ini di jendela Parameter Berbagi File.

Jadi, kami mendapatkan sumber daya yang toleran terhadap kesalahan di cluster dan dengan demikian meningkatkan ketersediaan sumber daya file menggunakan cluster Microsoft.

Cluster dalam realitas virtual

Baru-baru ini, mesin virtual semakin meluas.

Mesin virtual juga sangat nyaman untuk pengembangan dan pengujian. berbagai sistem, pelatihan dan demonstrasi.

Properti ini sangat berguna ketika bekerja dengan sistem cluster, karena implementasi perangkat keras yang lengkap memerlukan biaya finansial tertentu, seringkali cukup besar. Dan dengan bantuan cluster virtual, Anda dapat menguji sistem atau mempersiapkan ujian sertifikasi tanpa biaya tambahan.

Misalnya, untuk menyebarkan cluster dua node berdasarkan VMware, saya hanya memerlukannya stasiun kerja dengan 1 GB RAM. Dan tidak ada drive SCSI eksternal, server berisik, atau peralatan lainnya.

Nah, jika Anda tertarik untuk mengimplementasikan cluster berbasis virtual mesin VMware, maka saya sarankan untuk membuka artikel tersebut.

Kesimpulan

Jadi, kami menerapkan kluster dua node failover dan menginstal sumber daya bersama File Share.

Namun, salah satu penggunaan Microsoft Cluster Services yang paling umum adalah untuk mengatur cluster server email Pertukaran MS.

Pada artikel berikutnya saya akan melihat secara detail proses instalasi dan konfigurasi toleransi kesalahan sistem pos Microsoft Pertukaran.

  1. Russell C. Microsoft Windows Server 2003. Buku Pegangan Administrator.
  2. Berezhnoy A. Kami sedang membangun infrastruktur jaringan berdasarkan VMware Server. //Administrator Sistem, No.3, 2007 – hal.14-18.
  3. Artikel tentang penerapan cluster di VMware - http://www.rootpermissions.net/Files/MS_Windows_2003_Cluster_on_VMware_GFX_3.rar.
  • Sergei Savenkov

    semacam ulasan "pendek"... seolah-olah mereka sedang terburu-buru di suatu tempat