بلاگ - مقالات

استوریج شبکه چیست؟ آموزش کامل HPE MSA 2052، قطعات، نصب SAN و اتصال به سرور HP

18 آبان
HPE MSA 2052 SAN Storage 16Gb Fibre Channel VMware / Windows Server

استوریج شبکه چیست؟ آموزش کامل HPE MSA 2052 و اتصال SAN Storage به سرور HP

راهنمای جامع شناخت تجهیزات استوریج، بررسی هاردهای SAS و SSD، نصب و راه‌اندازی MSA 2052، اتصال Fibre Channel به سرور، ساخت RAID و Volume، معرفی LUN و راه‌اندازی فضای ذخیره‌سازی برای VMware ESXi و Windows Server.

خلاصه مقاله: استوریج HPE MSA 2052 یک سیستم ذخیره‌سازی Block-Level سازمانی است که می‌تواند فضای ذخیره‌سازی متمرکز را از طریق Fibre Channel یا سایر رابط‌های پشتیبانی‌شده در اختیار سرورها قرار دهد. در این آموزش یک پیکربندی شامل ۱۰ هارد SAS، دو SSD سامسونگ، دو SSD هشتصد گیگابایتی HPE و ماژول‌های FC را بررسی می‌کنیم.

۱. استوریج شبکه چیست؟

استوریج شبکه یا Network Storage به سیستمی گفته می‌شود که فضای ذخیره‌سازی را از طریق یک شبکه یا بستر ارتباطی مشترک در اختیار سرورها و کاربران قرار می‌دهد.

به جای اینکه تمام اطلاعات روی هاردهای داخلی هر سرور ذخیره شوند، می‌توان بخشی از داده‌ها را در یک دستگاه ذخیره‌سازی مرکزی نگهداری کرد.

چرا سازمان‌ها از استوریج استفاده می‌کنند؟

  • مدیریت متمرکز ظرفیت ذخیره‌سازی
  • اشتراک منابع ذخیره‌سازی میان چند سرور
  • توسعه ظرفیت بدون تغییر اساسی در سرورها
  • استفاده از RAID و قابلیت‌های حفاظتی
  • ایجاد Datastore برای ماشین‌های مجازی
  • استفاده از مسیرهای ارتباطی افزونه
  • تسهیل مدیریت و پایش ذخیره‌سازی

البته استوریج مرکزی به‌تنهایی دسترس‌پذیری بالا را تضمین نمی‌کند. طراحی مسیرهای افزونه، پاور، کنترلر، شبکه و بکاپ برای زیرساخت حیاتی ضروری است.

۲. تفاوت SAN، NAS و DAS چیست؟

DAS Direct Attached Storage فضای ذخیره‌سازی متصل مستقیم به یک سرور است.
NAS Network Attached Storage معمولاً فایل‌ها را با پروتکل‌هایی مانند SMB یا NFS ارائه می‌کند.
SAN Storage Area Network فضای Block Storage را از طریق پروتکل‌هایی مانند Fibre Channel یا iSCSI ارائه می‌کند.
ویژگیDASNASSAN
نوع دسترسی مستقیم فایل بلاک
اتصال معمول SAS / SATA / PCIe Ethernet FC / iSCSI
کاربرد دیسک داخلی سرور فایل‌سرور و اشتراک فایل VMware، دیتابیس و زیرساخت سازمانی
مدیریت در سطح سرور در سطح فایل و Share در سطح Volume و LUN
تفاوت مهم: MSA 2052 یک SAN Block Storage است، نه یک NAS File Server. برای ارائه فایل با SMB یا NFS، معمولاً باید یک سرور یا ماشین مجازی به‌عنوان فایل‌سرور روی فضای SAN قرار گیرد.

۳. معرفی کامل پنج قلم تجهیزات HPE MSA 2052

فهرست زیر مطابق تجهیزات اعلام‌شده برای این پروژه تنظیم شده است. تعداد و ظرفیت هر قطعه باید در زمان تحویل با شماره سریال، Part Number و وضعیت واقعی دستگاه تطبیق داده شود.

ردیف نام تجهیز تعداد وظیفه
۱ HPE MSA 2052 24SFF SAN Storage ۱ شاسی و کنترلرهای ذخیره‌سازی
۲ HPE MSA 1.8TB SAS 10K SFF HDD ۱۰ ظرفیت اصلی HDD
۳ Samsung PM1643 3.8TB SAS SSD ۲ فلش سازمانی؛ مشروط به سازگاری
۴ HPE MSA 16Gb Short Wave FC SFP+ 4-pack ۱ بسته ماژول‌های اتصال Fibre Channel
۵ HPE MSA 800GB SAS 12G SSD ۲ فلش برای Read Cache یا Performance Tier

ردیف اول: HPE MSA 2052 24SFF SAN Storage

MSA 2052 یک استوریج رکمونت ۲ یونیت با ۲۴ جایگاه دیسک ۲.۵ اینچی در نسخه SFF است. این خانواده با دو کنترلر و قابلیت ارائه فضای ذخیره‌سازی به میزبان‌های مختلف عرضه شده است.

۲U ارتفاع شاسی در رک
24 SFF تعداد جایگاه دیسک در شاسی SFF
Dual Controller دو کنترلر برای مسیرهای افزونه

در نسخه SAN، ارتباط میزبان می‌تواند بر اساس پیکربندی پشتیبانی‌شده با Fibre Channel یا iSCSI انجام شود.

تصویر واقعی ۱ — نمای جلو و پشت HPE MSA 2052 برای انتشار، تصویر رسمی دستگاه و شماره‌گذاری Controller A، Controller B، Management Port و Host Portها را اضافه کنید. مشاهده راهنمای رسمی شناسایی پورت‌ها

ردیف دوم: ده هارد HPE 1.8TB SAS 10K

این هاردها از نوع HDD سازمانی با ظرفیت اسمی ۱.۸ ترابایت، رابط SAS و سرعت چرخش ۱۰ هزار دور در دقیقه هستند.

مجموع ظرفیت خام ده دیسک:

10 × 1.8TB = 18TB Raw

این ظرفیت قبل از RAID، Metadata و سربار سیستم ذخیره‌سازی است.

این هاردها برای برخی بارهای کاری مانند فایل‌سرور سازمانی، ذخیره‌سازی عمومی، ماشین‌های مجازی با بار متوسط و داده‌هایی که به ظرفیت بیشتری نیاز دارند قابل بررسی هستند.

برای دیتابیس‌های پرتراکنش، عملکرد HDD ممکن است محدودکننده باشد و استفاده از SSD یا Tiering ارزش بررسی دارد.

ردیف سوم: دو SSD Samsung PM1643 3.8TB SAS

Samsung PM1643 از خانواده SSDهای سازمانی SAS است و برای بارهای کاری دیتاسنتری طراحی شده است.

دو SSD با ظرفیت اسمی ۳.۸ ترابایت، مجموعاً حدود ۷.۶ ترابایت ظرفیت خام فراهم می‌کنند.

هشدار سازگاری: اینکه SSD سامسونگ دارای رابط SAS 12Gb/s است، به‌تنهایی به معنی پشتیبانی HPE MSA 2052 از آن نیست. قبل از نصب، باید شماره قطعه، Firmware و فهرست درایوهای مورد تأیید HPE بررسی شود. از این دو SSD در آرایه عملیاتی بدون تأیید سازگاری استفاده نکنید.

ردیف چهارم: ماژول HPE MSA 16Gb FC SFP+

ماژول Short Wave Fibre Channel برای ارتباط نوری میان پورت FC استوریج، سوئیچ SAN یا کارت HBA سرور استفاده می‌شود.

بسته ۴ عددی به معنی وجود چهار ماژول نوری است؛ اما تعداد واقعی ماژول موردنیاز به تعداد مسیرها و پورت‌های دو سمت ارتباط بستگی دارد.

تجهیزات موردنیاز برای اتصال FC:
  • پورت Fibre Channel روی MSA
  • کارت FC HBA سازگار روی سرور
  • ماژول نوری سازگار در هر سمت لینک
  • کابل فیبر نوری مناسب، معمولاً LC-LC
  • سوئیچ FC در صورت استفاده از SAN Fabric

ماژول FC را نباید با SFP+ اترنت 10GbE یکسان فرض کرد. نوع پروتکل و سازگاری تجهیزات باید بررسی شود.

ردیف پنجم: دو SSD HPE MSA 800GB SAS 12G

MSA 2052 در پیکربندی استاندارد با دو SSD هشتصد گیگابایتی Mixed Use معرفی شده است. این SSDها می‌توانند طبق پیکربندی پشتیبانی‌شده برای Read Cache یا Performance Tier استفاده شوند.

Read Cache کمک به بهبود عملکرد خواندن داده‌های پرتکرار.
Performance Tier ایجاد لایه فلش برای داده‌های نیازمند عملکرد بالاتر.
Auto Tiering جابجایی داده‌ها بین Tierها طبق سیاست‌های استوریج.

انتخاب حالت استفاده از SSDها باید پیش از ساخت Disk Group و Pool انجام شود. دو SSD نباید بدون بررسی در هر دو نقش به‌صورت هم‌زمان در نظر گرفته شوند.

۴. پورت‌های پشت استوریج MSA 2052 چه کاربردی دارند؟

نمای شماتیک کنترلرهای پشت استوریج
Controller A
FC 1 FC 2 FC 3 FC 4
Management Ethernet / CLI / Expansion
Controller B
FC 1 FC 2 FC 3 FC 4
Management Ethernet / CLI / Expansion

این دیاگرام مفهومی است؛ چیدمان فیزیکی دقیق پورت‌ها را با برچسب‌های دستگاه تطبیق دهید.

پورتکاربرد
Host FC انتقال داده بین سرور و استوریج
Management Ethernet مدیریت استوریج از طریق شبکه مدیریتی
CLI دسترسی مدیریتی خط فرمان
Expansion SAS اتصال انکلوژرهای توسعه سازگار
Power تأمین برق دستگاه
پورت Management برای مدیریت دستگاه است، نه انتقال مستقیم LUN از طریق Fibre Channel. همچنین پورت Expansion SAS برای اتصال انکلوژر توسعه است و نباید با پورت FC میزبان اشتباه شود.

۵. چگونه سرور HP را به استوریج MSA 2052 متصل کنیم؟

در سناریوی Fibre Channel، سرور باید دارای کارت FC HBA سازگار باشد. اتصال می‌تواند مستقیم یا از طریق سوئیچ Fibre Channel انجام شود.

روش اول: اتصال مستقیم FC

دیاگرام اتصال مستقیم با دو مسیر
HPE ProLiant Server Windows Server / VMware ESXi
HBA Port 1 HBA Port 2
↓
FC Path A
↓
FC Path B
MSA Controller A FC Host Port
MSA Controller B FC Host Port
↓
HPE MSA 2052 Disk Groups / Pools / Volumes

مسیر A و B باید مطابق ماتریس سازگاری و طراحی Multipath پیاده‌سازی شوند.

روش دوم: اتصال با دو سوئیچ SAN

دیاگرام پیشنهادی Dual Fabric
Server 1 FC HBA A + B
Server 2 FC HBA A + B
↓ مسیرهای مستقل ↓
SAN Switch A Fabric A
SAN Switch B Fabric B
↓
MSA Controller A Host Ports
MSA Controller B Host Ports
↓
Shared SAN Storage HPE MSA 2052

این دیاگرام مسیرهای منطقی را نشان می‌دهد. اتصال واقعی باید مطابق طرح پورت‌به‌پورت HPE انجام شود.

اتصال مستقیم بهتر است یا SAN Switch؟

معیارDirect AttachFC Switch
پیچیدگی کمتر بیشتر
هزینه اولیه معمولاً کمتر بالاتر
توسعه تعداد سرورها محدود به پورت‌ها و سازگاری انعطاف بیشتر
مدیریت Fabric نیاز ندارد نیازمند Zoning
کاربرد پروژه کوچک دیتاسنتر و چند میزبان
در طرح Dual Fabric، مسیرها باید مستقل طراحی شوند. صرف اتصال دو کابل به یک سوئیچ به معنی افزونگی کامل نیست.

۶. آموزش مرحله‌به‌مرحله نصب و راه‌اندازی MSA 2052

قبل از شروع: اگر دستگاه قبلاً استفاده شده است، بدون بررسی Poolها، Volumeها، Host Mapping و بکاپ، هیچ عملیات Delete، Clear، Initialize یا تغییر RAID انجام ندهید. مراحل ساخت در این بخش برای دیسک‌های خالی و پیکربندی جدید هستند.
۱
نصب فیزیکی در رک

ریل‌ها را نصب کنید، شاسی ۲U را در رک قرار دهید و تهویه جلو به عقب را بررسی کنید. برای برق افزونه، پاورها را به مسیرهای تغذیه مناسب متصل کنید.

۲
بررسی و نصب دیسک‌ها

شماره Bay، نوع HDD/SSD، Part Number و سازگاری دیسک‌ها را بررسی کنید. از ترکیب دیسک‌های ناسازگار در یک Disk Group خودداری کنید.

۳
اتصال شبکه مدیریتی

پورت Management کنترلرها را به شبکه مدیریتی وصل کنید. IP مدیریتی هر کنترلر را طبق مستندات و تنظیمات واقعی دستگاه شناسایی یا پیکربندی کنید.

۴
ورود به Storage Management Utility

از مرورگر به IP مدیریتی دستگاه متصل شوید و با حساب مجاز وارد SMU شوید. نام و محل منوها ممکن است با نسخه Firmware متفاوت باشد.

تصویر واقعی ۲ — صفحه ورود SMU اسکرین‌شات Login و Dashboard را از دستگاه واقعی یا مستندات همان نسخه Firmware قرار دهید.
۵
بررسی سلامت دستگاه

وضعیت Controller A و B، پاورها، فن‌ها، دیسک‌ها، Cache و Event Log را بررسی کنید. هر هشدار سخت‌افزاری باید پیش از راه‌اندازی عملیاتی رفع شود.

۶
تنظیم Host Portها

سرعت و نوع رابط FC، وضعیت Link و اتصال به HBA یا SAN Switch را بررسی کنید.

۷
ایجاد Disk Group و Pool

برای دیسک‌های آزاد، Disk Group مناسب بسازید. نوع RAID و نحوه قرارگیری در Pool را بر اساس کاربرد و ظرفیت موردنیاز انتخاب کنید.

تصویر واقعی ۳ — صفحه Pools / Disk Groups نمای انتخاب دیسک‌ها، RAID Level و ساخت Disk Group در SMU.
۸
ساخت Volume

از فضای Pool، یک یا چند Volume ایجاد کنید. نام، ظرفیت و تنظیمات Volume را ثبت کنید.

۹
تعریف Host و Initiator

WWPN پورت‌های HBA سرور را شناسایی کنید. در بخش Hosts، Initiatorهای متعلق به همان سرور را تعریف یا به Host مربوطه اختصاص دهید.

۱۰
Volume Mapping

Volume را فقط به Host یا Host Group مجاز Map کنید. شناسه LUN و سطح دسترسی را بررسی کنید.

تصویر واقعی ۴ — صفحه Host Mapping نمای WWPN، Host و Volume Mapping در SMU.
۱۱
راه‌اندازی Multipath

در سیستم‌عامل میزبان، MPIO یا Native Multipathing را طبق راهنمای HPE و سیستم‌عامل تنظیم کنید.

۱۲
تست نهایی

شناسایی LUN، تعداد مسیرها، عملکرد I/O، Event Log و وضعیت سلامت را بررسی کنید. آزمون Failover باید طبق برنامه نگهداری و بدون ریسک برای داده عملیاتی انجام شود.

۷. بهترین RAID برای ده هارد 1.8TB چیست؟

برای ده هارد SAS با ظرفیت ۱.۸ ترابایت، چند طرح RAID قابل بررسی است.

RAID ظرفیت اسمی با ۱۰ دیسک تحمل خرابی کاربرد
RAID 5 16.2TB یک دیسک بارهای خواندن‌محور
RAID 6 14.4TB دو دیسک ظرفیت همراه افزونگی بیشتر
RAID 10 9TB وابسته به جفت‌های Mirror بارهای نوشتن پرتراکنش

ظرفیت‌های بالا محاسبات تئوری هستند. ظرفیت واقعی قابل تخصیص به دلیل سربار سیستم، واحدهای اندازه‌گیری و ساختار Pool متفاوت خواهد بود.

پشتیبانی RAID و چیدمان Disk Group را در نسخه Firmware و حالت Virtual Storage دستگاه بررسی کنید. برای انتخاب نهایی، عملکرد، زمان Rebuild و ریسک خرابی دیسک‌ها نیز مهم‌اند.

نقش SSD در کنار HDD

در معماری Tiered Storage، SSD می‌تواند برای داده‌های پرتکرار استفاده شود، درحالی‌که HDD ظرفیت بیشتری با هزینه کمتر فراهم می‌کند.

در MSA 2052، SSDهای پشتیبانی‌شده می‌توانند طبق تنظیمات دستگاه در نقش Read Cache یا Performance Tier قرار بگیرند.

۸. آموزش اتصال MSA 2052 به VMware ESXi

برای استفاده از MSA به‌عنوان Datastore، ابتدا باید ارتباط FC، شناسایی Initiatorها و Volume Mapping در استوریج انجام شده باشد.

مراحل سمت VMware

  1. سازگاری نسخه ESXi و کارت FC HBA را بررسی کنید.
  2. در محیط vSphere Client وارد Host شوید.
  3. بخش Storage و Storage Adapters را باز کنید.
  4. کارت Fibre Channel HBA را شناسایی کنید.
  5. WWPN پورت‌های HBA را ثبت کنید.
  6. پس از Mapping در MSA، Rescan Storage Adapters را اجرا کنید.
  7. در بخش Devices، LUN جدید را بررسی کنید.
  8. تعداد و وضعیت مسیرها را کنترل کنید.
  9. برای LUN خالی و جدید، New Datastore را انتخاب کنید.
  10. VMFS سازگار را ایجاد و ظرفیت را بررسی کنید.
تصویر واقعی ۵ — VMware Storage Adapters نمای FC HBA، WWPN و دکمه Rescan در vSphere Client.
تصویر واقعی ۶ — ساخت VMFS Datastore نمای انتخاب LUN و ایجاد Datastore جدید.
اگر LUN قبلاً دارای VMFS یا داده است، گزینه ایجاد Datastore جدید یا Format را اجرا نکنید. ابتدا وضعیت Signature و فایل‌سیستم موجود را بررسی کنید.

Multipathing در VMware چیست؟

Multipathing امکان استفاده از چند مسیر ارتباطی میان ESXi و استوریج را برای افزونگی و مدیریت مسیر فراهم می‌کند.

سیاست انتخاب مسیر مانند Round Robin باید طبق راهنمای سازگاری HPE، نسخه ESXi و تنظیمات MSA انتخاب شود.

۹. اتصال استوریج MSA به Windows Server

در Windows Server، پس از اتصال FC و Mapping صحیح Volume، فضای ذخیره‌سازی باید به‌عنوان Disk شناسایی شود.

مراحل کلی

  1. درایور و Firmware کارت FC HBA را بررسی کنید.
  2. ویژگی Multipath I/O را در صورت نیاز نصب کنید.
  3. پشتیبانی دستگاه و تنظیمات MPIO را مطابق مستندات بررسی کنید.
  4. از طریق Disk Management دیسک‌های جدید را Rescan کنید.
  5. Disk جدید را از روی ظرفیت و شناسه شناسایی کنید.
  6. برای LUN کاملاً جدید و خالی، در صورت نیاز Initialize انجام دهید.
  7. پارتیشن و فایل‌سیستم مناسب ایجاد کنید.
  8. مسیرها و وضعیت سلامت ذخیره‌سازی را بررسی کنید.
تصویر واقعی ۷ — Windows Disk Management نمای دیسک ارائه‌شده از MSA و وضعیت Online / Offline.
اگر یک LUN به چند Windows Server ارائه می‌شود، استفاده هم‌زمان از فایل‌سیستم معمولی بدون هماهنگی کلاستر ممکن است باعث خرابی داده شود. برای Shared Disk باید معماری و فایل‌سیستم سازگار با کلاستر انتخاب شود.

۱۰. کاربردهای HPE MSA 2052 در سازمان‌ها

کاربرد نوع داده پیشنهاد فنی
VMware ماشین‌های مجازی SSD Tier و مسیرهای افزونه
SQL Server دیتابیس بررسی IOPS، تأخیر و RAID
فایل‌سرور اسناد و فایل‌ها HDD با ظرفیت مناسب و بکاپ
ERP تراکنش‌های سازمانی ظرفیت‌سنجی و ذخیره‌سازی مناسب
Hyper-V ماشین‌های مجازی MPIO و طراحی صحیح Volume
آرشیو سازمانی داده کم‌تغییر ظرفیت، نگهداری و بکاپ مستقل

۱۱. عیب‌یابی مشکلات رایج استوریج MSA

مشکل علت احتمالی بررسی پیشنهادی
سرور LUN را نمی‌بیند Mapping، Zoning یا HBA WWPN، Link و Rescan
فقط یک مسیر فعال است کابل، SFP یا تنظیم Multipath بررسی مسیرهای A و B
SSD شناسایی نمی‌شود ناسازگاری یا خرابی Part Number و Firmware
عملکرد پایین است تراکم I/O یا دیسک کند Latency، IOPS و Tier
Pool هشدار می‌دهد خرابی دیسک یا کمبود ظرفیت Event Log و سلامت Disk Group
SMU باز نمی‌شود IP یا شبکه مدیریتی Management IP و اتصال شبکه

چک‌لیست قبل از تحویل پروژه

  • سلامت هر دو کنترلر تأیید شده باشد.
  • هر دو پاور و مسیر برق بررسی شده باشند.
  • تمام دیسک‌ها و SSDها شناسایی شده باشند.
  • سازگاری دیسک‌ها تأیید شده باشد.
  • Firmware دستگاه بررسی شده باشد.
  • Volume Mapping ثبت شده باشد.
  • مسیرهای FC و Multipath بررسی شده باشند.
  • بکاپ و بازیابی آزمایش شده باشد.
  • مستندات IP، WWPN، LUN و کابل‌کشی تهیه شده باشد.

۱۲. سؤالات متداول درباره SAN Storage

آیا MSA 2052 یک NAS است؟

خیر. MSA 2052 یک سیستم Block Storage است. برای اشتراک فایل SMB یا NFS، معمولاً به فایل‌سرور نیاز دارید.

آیا می‌توان چند سرور را به MSA وصل کرد؟

بله، با رعایت محدودیت پورت‌ها، سازگاری سیستم‌عامل، Host Mapping و معماری مناسب.

آیا اتصال Fibre Channel به سوئیچ شبکه معمولی امکان‌پذیر است؟

خیر. برای ارتباط FC معمولی به تجهیزات Fibre Channel سازگار نیاز است. سوئیچ Ethernet معمولی جایگزین FC Switch نیست.

آیا SSD سامسونگ PM1643 روی MSA 2052 کار می‌کند؟

بدون بررسی شماره قطعه و فهرست سازگاری HPE نمی‌توان پشتیبانی آن را تأیید کرد.

دو SSD 800GB در MSA 2052 برای چیست؟

در پیکربندی استاندارد می‌توانند برای Read Cache یا Performance Tier طبق تنظیمات پشتیبانی‌شده استفاده شوند.

آیا SAN Storage جایگزین بکاپ است؟

خیر. RAID، Snapshot و افزونگی کنترلر جایگزین بکاپ مستقل نیستند.

آیا می‌توان MSA را به VMware متصل کرد؟

بله، در صورت سازگاری نسخه‌ها و پیکربندی صحیح FC، Mapping و Multipathing.

۱۳. منابع رسمی برای نصب و بررسی سازگاری

برای استفاده عملی از مستندات، مدل دقیق کنترلر، Firmware و نسخه سیستم‌عامل میزبان باید با راهنمای مربوطه تطبیق داده شود.

جمع‌بندی: آیا HPE MSA 2052 برای سازمان مناسب است؟

HPE MSA 2052 یک راهکار SAN برای ارائه فضای ذخیره‌سازی متمرکز به سرورهای سازمانی است. در این پیکربندی، هاردهای SAS ظرفیت اصلی، SSDهای سازگار عملکرد بالاتر و Fibre Channel ارتباط میان سرور و استوریج را فراهم می‌کنند.

پیش از نصب عملیاتی، سازگاری تمام دیسک‌ها، طراحی RAID و Pool، تعداد مسیرهای FC، Host Mapping و بکاپ باید بررسی شوند.

جدیدتر راهنمای شناخت سرور اچ پی؛ بررسی نسل‌ها، کاربردها و نکات انتخاب سرور HP
بازگشت بە لیست
قدیمی‌تر راهنمای انتخاب سرور HP برای شرکت‌ها؛ مقایسه نسل‌های G9 تا G12 و کانفیگ مناسب هر کسب‌وکار

دیدگاهتان را بنویسید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *