بررسی فنی پردازنده های Haswell EP ابرقدرت های 18 هسته ای اینتل

بررسی فنی پردازنده های Haswell EP ابرقدرت های 18 هسته ای اینتل

شهر سخت افزار/ اگرچه بطور کلی تعداد هسته های پردازنده ها در یکی دو سال گذشته رو به افزایش بوده است اما از این تعداد هسته بر روی یک پردازنده نمیتوان به سادگی گذشت. بالابردن تعداد هسته ها در یک تراشه یک بحث است و ارتباط این هسته ها و تعامل آنها با هم برای پردازش واقعی اطلاعات بحثی دیگر. برای بدست آوردن بالاترین کارآیی هسته ها در چنین پردازنده هایی، نیاز به طراحی و مهندسی بسیار پیچیده و همچنین نهایت استفاده از کارآمد ترین و پیچیده ترین کتابخانه های نرم افزاری خواهد بود.

پردازنده های Xeon E5 V3 با 18 هسته مرکزی

از مدتی پیش شایعاتی بگوش میرسید که اینتل قصد دارد نسل بعدی پردازنده های سرور خود را که تا 18 هسته بر روی خود خواهند داشت بر پایه معماری 14 نانومتری و از خانواده Broadwell انتخاب کند. حالا میدانیم که کار اینتل با خانواده Haswell (که معماری 22 نانومتری داشتند) به پایان رسیده است و این شرکت دیگر پردازنده جدیدی از خانواده Haswell تولید نخواهد کرد ولی نکته اینجاست که اینتل، پردازنده های Haswell EP با 18 هسته را قبلاً تولید کرده و حاضر و آماده دارد.

مهمترین نکته در ساخت یک چنین پردازنده ای، امکان تغذیه تمام هسته ها با حجم زیادی از اطلاعات است. با توجه به این که حافظه موقت cache L3 این پردازنده ها تا 45 مگابایت میرسد که این خود نقش مهمی در بالابردن بازدهی پردازنده دارد اما مشکلات دیگری بر سر راه هستند که فائق آمدن بر آنها مسئله اصلی است.

تعداد بالای هسته به معنی توان مصرفی بسیار بالا، حد حرارتی (TDP) بالاتر، افزایش تصاعدی ترافیک بین هسته ها، ناتوانی کنترلر حافظه رم برای مدیریت اطلاعات و همچنین جلو افتادن یک رشته از رشته های پردازشی دیگر (در پردازش چند رشته ای) دز هنگام تحمیل بار زیاد به سرور از مشکلات عمده تعداد هسته های بالا در یک پردازنده است.

سرور های امروزی بیشتر شبیه یک دیتا سنتر کوچک هستند. سرورهای مجازی مدرن، همه وظایف سخت افزار های قدیمی را به صورت نرم افزاری در داخل خود به انجام میرسانند و کنترل آنها نیز بصورت مرکزی در داخل سرور انجام میگیرد که نمونه آن، سرورهای مجازی ذخیره سازی اطلاعات معروف به VMware vSAN و همینطور پلتفرم یا بستر آن که به نام NSX معروف است میباشند.

در این نوع سرور ها وظیقه سوئیچ ها و تجهیزات دیگر را معمولاً به صورت سخت افزار های جداگانه در یک شبکه نصب میشوند، بصورت نرم افزاری در داخل خود به انجام میرسد. به عبارت دیگر این نوع سرور ها محل تجمع تعداد زیادی نرم افزار هستند که نیازهای پردازشی این نرم افزار ها نیز روزبروز در حال گسترش است.

با توجه به این که برخی از این نرم افزار ها میتوانند آخرین سطوح حافظه پنهان cache L3 را به خود اختصاص داده و دیگر رشته ها و یا درخواست ها را با کمبود توان پردازشی هسته های پردازنده مواجه کنند و یا میتوانند فشار بیش از اندازه ای بر روی پورت های ورودی و خروجی سرور وارد نمایند، باید دید بکار گیری پردازنده هایی با تعداد زیادی هسته مرکزی و ظرفیت بالای cache L3 تا چه حد میتواند در رفع این مشکلات موثر باشد.

باید در نظر داشت که مدلهای متنوعی از این پردازنده ها وجود دارند که کار انتخاب پردازنده مناسب با قدرت کافی برای جوابگویی به نیاز یک سازمان و یا شرکت را بسیار پیچیده کرده و مدیران را با چالش روبرو میکند. 22 مدل پردازنده های Xeon E5 از 4 هسته ای گرفته تا 18 هسته ای وجود دارند که هر کدام قدرت و کارآیی متفاوتی نسبت به دیگری دارند.

بعد از ظهور پردازنده های Haswell در ماه ژوئن 2013 و سری پس از آن، یعنی خانواده موبایل این نوع پردازنده ها، تغییرات زیادی را در مقایسه با نسل Ivy Bridge شاهد بوده ایم. از نظر فنی اینتل ادعا میکند بازدهی یک پردازنده Haswell (Xeon E5-2600 V2) تا 10 درصد از پردازنده های هم ردیف خود (Xeon E5-2600) بالاتر است و به همین ترتیب تا 16 در صد از یک پردازنده همردیف خود از نسل Sandy Bridge (Xeon 5500) کارآیی بالاتری خواهد داشت.

متاسفانه سری جدید پردازنده ها در محیط سروزهای مجازی از بعضی نکات مانند تقسیم بهیته بار و در دسترس بودن به موقع هسته ها دارای نقاط ضعفی نیز هستند که معمولاً از سوی اینتل اعلام نمیشوند. اما از طرف دیگر فناوری هایی مانند AVX2 در کارهایی مانند پردازش ویدئویی میتواند کارآیی بالایی از خود نشان دهد.

از سوی دیگر توانایی واحد های رجیستری با پهنای باند 256 بیتی در عملیاتی مانند رمز نگاری فایلها، میتواند سرعت های بالاتری را در اختیار سیستم قرار دهد که این توانایی و سرعت بالای آن در انجام عملیات، میتواند برای وب سرور های بزرگ شایان توجه یاشد. با استفاده از AVX2 قدرت پردازش محاسبات اعشارینیز در نسل Haswell نسبت به نسلهای قبل تا دوبرابر رشد نشان میدهد.

پردازش اعداد اعشاری و اعداد صحیح

در پردازش اعداد صحیح نیز پردازنده های نسل Haswell بیش از 20 درصد افزایش سرعت را از خود نشان میدهند. به طور مثال یک پردانزده Core i7-4770K نسبت به همتای Nahalem خود، حدود 21 درصد سرعت بیشتری دارد. باید توجه داشت که سرعت کلاک پردازنده ها نسبت به نسل قبل نه تنها افزایش نداشته بلکه از حدود 3.2 گیگاهرتز در Xeon 5500 به 2.6 گیگاهرتز کاهش یافته است اما با بکار گیری معماری بهتر در عملکرد IPS و افزایش توان پردازشی، قسمت زیادی از این کمبود فرکانس جبران میشود ضمن اینکه تعداد هسته ها و در نتیجه تعداد هسته های منطقی (در پردازش رشته ای) نیز افزایش داشته است که (در مجموع) باعث افزایش قابل توجه سرعت پردازش خواهد شد مثلاً در نرم افزار SAP S&D سرعت یک پردازنده Xeon E5-2699 V3 تقریباً سه برابر همتای خود Xeon 5500 است.

مقایسه بین کارآیی هسته ها در نسل Ivy Bridge و نسل Haswell

اگر نگاهی به ساختار چینش هسته ها و واحد های حافظه LLC در دو نسل Ivy Bridge و Haswell داشته باشیم میبینیم که در نسل Ivy Bridge هسته ها در سه ستون قرار گرفته و با دو حلقه Bus که مشترکاً از یک حلقه بیرونی استفاده میکنند با هم ارتباط دارند اما در نسل Haswell هسته ها در 4 ستون قرار گرفته اند و دو حلقه Bus مجزا که به طور مستقل از هم عمل میکنند کار ارتباط هسته ها را به عهده دارند. این نوع طراحی از طرفی کار مهندسی پردازنده را پیچیده تر میکند اما به دلیل مستقل بودن هر کدام از حلقه ها و بخصوص زمانی که مجموعه دستورات FMA/AVX با قطعات 256 بیتی اطلاعات کار میکنند میتواند بازدهی را به طور موثری ارتقاء دهد.

تفاوت های ساختاری و ارتباط بین هسته ها و حافظه های LLC

به طور کلی پردازنده های Haswell از سه مدل ساختاری پیروی میکنند: مدل اول از چهار تا هشت هسته تشکیل شده که ساختاری شبیه به معماری Ivy Bridge دارد یعنی فقط مجهز به یک حلقه جفتی و تنها یک کنترلر حافظه رم است. مدل ساختاری دوم قادر است از 10 تا 12 هسته پشتیبانی کند و از دو کنترلر حافظه و دو حلقه Bus جداگانه برخوردار است.

اگر به تصویر زیر دقت کنید نقاط آبی نقاطی هستند که اطلاعات میتوانند مسیر خود را به داخل حلقه Bus تغییر دهند. اما چون حلقه ها قرینه نیستند چینش هسته ها و ارتباط آنها با حلقه های Bus نیز یکسان نیست. بطور مثال یک پردازنده 18 هسته ای دارای 8 هسته (دو ستون 4 تایی) و 20 مگابایت حافظه موقت LLC در یک سمت و 10 هسته به همراه 25 مگابایت حافظه LLC در سمت دیگر است. مدل ساختار سوم که حالتی بینابین دو ساختار فوق دارد میتواند با ثابت نگه داشتن مقدار حافظه LLC، تعداد 6 تا 8 هسته کمتر داشته باشد.

اطلاعات در بین حافظه های LLC تقسیم میشوند که همه آنها به طور یکنواخت به قطعات تقریباً مساوی اطلاعاتی دسترسی داشته باشند تا وقفه پردازشی به حداقل برسد. ولتاژ کاری حلقه های Bus مستقل از ولتاژ کاری هسته ها است بنابر این زمانی که حجم اطلاعات ورودی و خروجی بیشتر باشد توان مصرفی به طور پویا بیشتر به حلقه ها اختصاص داده خواهد شد تا سرعت کار حلقه ها بالاتر رود.

مدیریت توان مصرفی

از آنجایی که پردازنده ها در محیط های سروری در مقایسه با ابزار های موبایل زمان بیشتری را در حالت idle یا بیکار میگذرانند، مدیریت توان مصرفی در زمان بیکاری پردازنده برای صرفه جویی در مصرف کل انرژی موضوع بسیار با اهمیتی است. پردازنده های نسل Haswell گام بزرگی در این جهت برداشته اند.

در یک پردازنده Haswel EP هر هسته توان مصرفی مستقل و جداگانه ای دارد و در صورتیکه هسته در جریان کار به فرکانس بالاتری نیاز داشته باشد، میزان برق بیشتری را به خود اختصاص خواهد داد. از طرفی مجموعه دستورات AVX سرعت پردازش محاسبات اعشاری را تا دو برابر بالاتر برده و انتظار میرود دستورات AVX 2.0 نیز به نوبه خود این سرعت را دو برابر دیگر افزایش دهد.

دیاگرام زیر فرکانس مورد نیاز برای انجام محاسبات عددی و اعشاری و محدوده فرکانس پایه و توربو را برای زمانی که پردازنده در حال انجام محاسبات غیر اعشاری است به خوبی نشان میدهد. توجه داشته باشید که حد نهایی فرکانس پردانده در زمانی که همه هسته ها از بالاترین توان مصرفی خود استفاده میکنند از 2.6 گیگاهرتز تجاوز نمیکند.

این دیاگرام مربوط به یک پردازنده Xeon E5-2693 V3 است که قادر است در حالت توربو تا 3.3 گیگاهرتز (برای محاسبات غیر اعشاری) سرعت داشته باشد و اگر حرارت CPU به حد حرارتی نهایی آن (TDP) نزدیک شود، فرکانس پردازنده به طور اتوماتیک تا روی فرکانس پایه 1.9 گیگاهرتز پایین خواهد آمد.

نقش حافظه های جدید DDR4

با ورود حافظه های DDR4 ونقش موثری که در این نوع رم ها پردازش داده ها ایفا خواهند کرد شاهد افزایش بهره وری پردازنده ها نیز خواهیم بود. پیشرفت های حاصل شده در نسل جدید رم ها به طور خلاصه عبارتند از افزایش سرعت تا 3200 میلیون تراکنش در ثانیه، توان مصرفی کمتر به میزان 1.2 ولت در مقابل 1.5 ولت در رم های DDR3، امکان افزایش ظرفیت تا دو برابر بر روی ماژول هایی با همان اندازه قبلی.

افزایش تراکنش در ثانیه مربوط به ردیف های موجود بر روی ماژول است. در رم های DDR3 میتوان تا 8 ردیف مجزا بر روی ماژول قرار داد در حالیکه در حافظه های DDR4 این عدد به 16 ردیف میرسد (چهار ردیف 4 تایی) که این به معنی دسترسی همزمان به حجم وسیعتری از اطلاعات است. سامسونگ ادعا کرده است با استفاده از این نوع رم ها تا 21 درصد در توان مصرفی مربوط به حافظه رم صرفه جویی حاصل شده است. نوعی ماژول های DDR4 کم مصرف هم موجود هستند که حتی کمتر از 1.2 ولت (در حدود 1.05 ولت) مصرف دارند. این گونه رم ها یک سوم یک رم DDR3 هم سایز خود کمتر برق مصرف میکنند.

این مقایسه بین رم های DD4 و رم های DDR3 با همان ظرفیت و سرعت انجام شده است در حالیکه میتوان از رم های DDR4 با فرکانس بسیار بالاتری استفاده کرد (3200 میلیون تراکنش در مقابل 1866 میلیون در رم های DDR3) و این خود مزیت و پیشرفت بزرگی محسوب میشود که در مجموع باعث افزایش کارآیی و کاهش توان مصرفی تا 35 درصد خواهد شد.

افزایش حداکثر ظرفیت در ماژول های DDR4 نیز قابل بحث است در بارگذاری حجم بیشتری از اطلاعات مخصوصاً در برنامه های سنگین محاسباتی، خود را به خوبی نشان میدهد. نیاز روز افزون متخصصان فناوری به تبادل و محاسبه سریعتر حجم بیشتری از اطلاعات، بسیار مهم و حیاتی شده است. سرور های مجازی امروزی حتی قادرند تا ظرفیت 4 ترابایت حافظه رم را پشتیبانی کنند.

پردازنده های Xeon 2600 قادر بودند با نسل قبلی ماژول های رم LRDIMM کار کنند. این نوع رم ها با استفاده از بافر جداگانه زمان بارگذاری را کاهش داده و قادرند تمام چیپ های حافظه را از اطلاعات پر کنند تا بدین ترتیب حجم اطلاعات در دسترس پردازنده بالاتر رود. اما در ازای افزایش حجم اطلاعات ذخیره شده، استفاده از این رم ها در کنار پردازنده های Xeon E5-2600، دو ایراد داشت: یکی پهنای باند کمتر و دیگری وقفه بیشتر این نوع رمها بود. اما با ورود رم های DDR4 مهندسان IT از قابلیت پهنای باند بالا و سرعت فرکانس بالاتر رم های LRDIMMDDR4 نیز استفاده خواهند کرد.

همانطور که در تصویر بالا میبینید به دلیل فاصله کم حافظه بافر با هر کدام از چیپ های حافظه، وقفه انتقال اطلاعات بسیار کمتر شده و با سرعت بالاتری که رم های DDR4 به طور پیش فرض دارند، بازدهی کلی به طور قابل توجهی افزایش خواهد یافت.

در تصویر پایین مقایسه ای بین رم های LRDIMM از زمان پردازنده های Xeon E5 از خانواده Sandy Bridge, Ivy Bridge و در نهایت Haswell EP را در یک نگاه ببینید. نمودار سمت راست سرعت رم های LRDIMM را با یک پردازنده Xeon E5-2600 نشان میدهد و به ترتیب که به سمت چپ می آییم به خانواده Haswell EP میرسیم. خط نارنجی مقایسه بین 32 گیگابایت رم و خط سبز مقایسه ای بین 16 گیگابایت رم را نشان میدهد:

منابع مختلف اعلام کرده اند که رم های LRDIMM جدید تا 25 درصد گرانتر خواهند بود. تصویر زیر نیز نحوه چیدمان و فاصله بافر ها نسبت به چیپ های اصلی حافظه را در یک رم سامسونگ LRDIMM (بالا) در مقایسه با یک RDIMM قدیمی تر (پایین) نشان میدهد:

وقفه پایینتر و فرکانس کاری آن از فاکتور های مهم در بالا بردن کارآیی حافظه های رم هستند اما بحث حداکثر ظرفیت ماژول ها را نباید از یاد ببریم. ماژول های فعلی تا 4 گیگابایت ظرفیت دارند اما باید توجه داشت یک پردازنده Xeon E5-2600 V2 تنها میتواند تا 384 گیگابایت رم DDR4 (از نوع registered) و تا 768 گیگابایت رم از نوع LRDIMM را آدرس دهی نماید. مدلهای دیگر رم هستند که از نظر اقتصادی مقرون به صرفه نبوده و مصرف بالایی دارند اما طبق آمار های موجود، این وضعیت در ابتدای سال 2015 و با ورود ماژول های 8 گیگابایتی به بازار تغییر خواهد کرد.

این بدین معنی است که پردازنده های خانواده Xeon E5 بزودی قادر خواهند بود تا 1.5 ترابایت حافظه رم را در کنار خود داشته باشند. در نیمه دوم سال 2015 نیز با عرضه ماژول های 128 گیگابایتی LRDIMM، تا 3 ترابایت رم LRDIMM در دسترس پردازنده قرار خواهد گرفت.

مقایسه اجمالی بین مدل های مختلف پردازنده های نسل سوم Intel Xeon E5

قبل از اینکه به مقایسه اجمالی بین پردازنده های مختص سرور ها بپردازیم باید توجه داشت که شرکت AMD مدت دو سال است که از آخرین دستاوردهای خود در زمینه پردازنده های سرور پرده برداری نکرده است و غیر از معماری Streamroller که به نظر میرسید آینده روشنی در انتظار آن است محصول قابل توجهی هم به بازار ارائه نکرده است.

بنابراین تنها رقیب پردازنده های شرکت اینتل به عنوان تنها تولید کننده بازار، پردازنده های سری قبلی خودش خواهد بود. این شرکت، تنها نیاز دارد خریداران را متقاعد کند که نسل سوم پردازنده های Xeon E5 علاوه بر کارآیی و عملکرد بهتر نسبت به نسل قبلی پردازنده های Xeon از نظر اقتصادی نیز مقرون به صرفه خواهد بود.

در جدول بالا اگر چه امکان درج همه SKU های پردازنده های خانواده Xeon E5 وجود نداشت اما سعی شده است مدلهای مهم مورد مقایسه قرار گیرند. همانطور که مشاهده میکنید نمونه اول قویترین و پرسرعت ترین پردازنده است که E5-2699 V3 نام دارد و با 18 هسته اصلی و 36 هسته منطقی (برای پردازش چند رشته ای) متناسبآً بالاترین قیمت را نیز به خود اختصاص داده است. این پردازنده 4100 دلاری که گرانترین عضو این خانواده است با حد حرارتی 145 وات بیشترین توان مصرفی را در بین تمام مدلها دارد.

مدل بعدی که در واقع ارزانترین عضو پردازنده های پر بازده (در بین چهار مدل اول) به حساب میآید E5-2695 V3 است ظاهرا با دارا بودن 14 هسته و 35 مگابایت حافظه LLC و حد حرارتی 120 وات و مجهز بودن به دو کنترلر حافظه، مقرون به صرفه ترین و متناسب ترین مدل میباشد.

مدل E5-2650L V3 نیز نمونه ای است که تعادل مناسبی بین قیمت و بازدهی آن برقرار است و در میان این تعداد پردازنده در رده وسط قرار میگیرد. مدل قابل اشاره آخر یعنی 2667 V3 با 3.2 گیگاهرتز سرعت مناسبی را ارائه میدهد اما برای سرور هایی مناسب است که بیش از 8 هسته احتیاج نداشته باشند.

خاتمه ...

در آخر با یک نتیجه گیری کلی میتوان به موارد زیر اشاره کرد:

با در نظر گرفتن تعداد بالای مدلها پردازنده های خانواده Xeon E5 باید در نظر داشت که برای انتخاب هر کدام از این SKU ها، فاکتور های متعددی را باید مد نظر داشت تا بهترین SKU برای محیط سروری انتخاب شود. برخی محیط ها به سرعت پردازنده بیشتر و برخی به تعداد هسته های بالاتر نیاز دارند و در برخی موارد هم توان مصرفی کمتر از همه فاکتور ها مهمتر است.

در انتخاب مدل های با تعداد هسته بالاتر باید توجه داشت که آیا بازدهی اقتصادی آن در مدت معین قادر خواهد بود هزینه های اصلی و جانبی چنین انتخابی را پوشش دهد یا خیر و دیگر اینکه آیا پیکربندی سرور به گونه ایست که توان استفاده همزمان از تمام هسته ها را طلب کند یا خیر.



طبق بررسی های فنی و مقایسه تمام فاکتور های مهم که در انتخاب یک پردازنده سرور نقش مهمی دارند میتوان به این نتیجه رسید که E5-2650L V3 بهترین مدل است به دلیل اینکه تعادل خوبی بین قیمت و بازدهی و زمان پاسخگویی آن در پردازش حجم متوسط اطلاعات برقرار است و مهمتر اینکه از نظر توان مصرفی نیز با در نظر داشتن قابلیت های دیگرش در حد قابل قبولی قرار دارد.

اگر چه E5-2699 V3 از سرعت و توان پردازشی مثال زدنی برخوردار است اما توان مصرفی آن در زمان اوج مصرف چیزی نیست بتوان با بی اعتنایی از کنارش گذشت. فاکتور دومی که باعث میشود تعداد زیادی از صاحبان سرور ها از خرید آن منصرف شوند قیمت بسیار گزافی است که بابت آن باید بپردازند.

باید این مطلب را نیز در نظر داشت که برای استفاده از قابلیت های پردازنده های نسل جدید Haswell EP باید قطعات دیگر از قبیل حافظه های رم و مادربرد نیز تعویض شوند که این خود به هزینه تمام شده محیط های سروری به میزان قابل توجهی اضافه خواهد کرد.



مطمئناً شرکت هایی هستند که سرمایه گذاری برای خرید سرور های بسیار پرسرعت برایشان توجیه اقتصادی دارد و حاضرند هزینه آن را نیز بپردازند اما به نظر میرسد تنها بکار گیری پردازنده های Haswell EP در تشویق آنها برای ارتقاء سرور ها کافی نباشد. بسیاری از آنها دوست دارند با صرف هزینه های کمتر، کسب و کار خود را تا رسیدن پردازنده های Broadwell EP که در میانه های سال 2015 از راه خواهند رسد سر پا نگاه دارند و در آن زمان مستقیما اقدام به ارتقاء تجهیزات خود برای بکار گیری این خانواده از CPU ها نمایند.

در شرایط فعلی که شرکت AMD فعلاً از فعالیت در بازار پردازنده های سرور بدور است، شرکت اینتل تنها یکه تاز این میدان خواهد بود گرچه انتظار داریم در سال 2015 از شرکت AMD نیز محصول مطمئن و قابل رقابتی را در زمینه پردازنده های سرور شاهد باشیم.

بررسی فنی پردازنده های Haswell EP ابرقدرت های 18 هسته ای اینتل

بررسی فنی پردازنده های Haswell EP ابرقدرت های 18 هسته ای اینتل

بررسی فنی پردازنده های Haswell EP ابرقدرت های 18 هسته ای اینتل

بررسی فنی پردازنده های Haswell EP ابرقدرت های 18 هسته ای اینتل

بررسی فنی پردازنده های Haswell EP ابرقدرت های 18 هسته ای اینتل

بررسی فنی پردازنده های Haswell EP ابرقدرت های 18 هسته ای اینتل

بررسی فنی پردازنده های Haswell EP ابرقدرت های 18 هسته ای اینتل

بررسی فنی پردازنده های Haswell EP ابرقدرت های 18 هسته ای اینتل

بررسی فنی پردازنده های Haswell EP ابرقدرت های 18 هسته ای اینتل

بررسی فنی پردازنده های Haswell EP ابرقدرت های 18 هسته ای اینتل

[ منبع این خبر سایت خبر ایرونی می باشد، برای مشاهده متن اصلی خبر می توانید روی این قسمت کلیک کنید ]

برای نمایش تمام اخبار مرتبط با عنوان «بررسی فنی پردازنده های Haswell EP ابرقدرت های 18 هسته ای اینتل» اینجا کلیک کنید. شفاف سازی:
خبر فوق در سایت خبر ایرونی منتشر شده و صرفا در این سایت بازنشر شده است. چنانچه به خبر فوق اعتراض دارید برای حذف آن روی این قسمت کلیک کنید.

نکته: با توجه به جمع آوری خودکار مطالب از سطح وب در صورت مشاهده هرگونه تخلف و یا اخبار غیر مجاز و یا اعتراض به انتشار مطالب سایت ها با ایمیل khabargroup.info@gmail.com در تماس باشید

تبلیغات





جدیدترین اخبار منتشر شده

تبلیغات