تتحرك متوسط هادوب

أنا تعثرت على هذه المقالة: الذي يشير إلى كيفية حساب المتوسط ​​المتحرك باستخدام هادوب. يرجى ملاحظة أنه يجب فرز جميع السجلات الخاصة بمفتاح كي ثم خفضها. افترض الآن أن السجلات الخاصة بمفتاح كي معين موزعة على جميع أجزاء مجموعة مونغو. في مثل هذه الحالة، هل سيكون من الممكن حساب المتوسط ​​المتحرك أنا أفهم أن مونغو لا تخفض الخريطة في كل عقدة. الشرط الرئيسي لحل هذه المشكلة هو التأكد من كل تنبعث لخريطة أن تخفض في مرحلة واحدة الحد. إذا كان هذا هو الحال، ثم مونغو خريطة تقليل لن تكون قادرة على حل هذه المشاكل. هل هناك بعض سوء الفهم الأساسي أيضا، مع مليارات الصفوف، وبيتابايت من البيانات، لماذا هو أن هادوب ريدوس المرحلة لا تحطم من الذاكرة، لأنه لديه للتعامل مع العديد من السل على الأقل من البيانات المعينة. طلب 16 مايو 13 في 07:31 هل يمكن أن تفسر لماذا تحطم هادوب don39t من الذاكرة لمثل هذا الحساب من فهمي، كل الحد سوف يحدث في عقدة واحدة، حيث سيتم تخفيض جميع السجلات ل كي. وينبغي أن يؤدي ذلك إلى زيادة في الذاكرة الضخمة على تلك العقدة، نظرا لأن هناك حاجة إلى وجود بيانات تب للسلع هناك. كيف هادوب التعامل مع هذا الكم الهائل من البيانات نداش P. Prasad 16 مايو 13 في 8:29 وأعتقد أنه، على عكس مونغودب، هادوب، تماما مثل سكل عند معالجة انضمام كبير، سوف يكتب الأشياء إلى القرص وقراءة فقط عند الحاجة مع نظام التشغيل باستخدام مبادلة كحامل ذاكرة مؤقتة لأشياء معينة على الأرجح. مونغودب يفعل أكثر في ذاكرة الوصول العشوائي قبل الكتابة إلى القرص على هذا النحو فإنه سيتم بسهولة إنقاذ ندش سامايي 16 مايو 13 في 8: 37David، نعم، ويهدف مابريدوس للعمل على كمية كبيرة من البيانات. والفكرة هي أنه بشكل عام، وخريطة وتقليل وظائف mustn39t رعاية كم مصممي الخرائط أو كم عدد المخفضات هناك، that39s مجرد التحسين. إذا كنت تفكر مليا في الخوارزمية التي نشرت، يمكنك أن ترى أن المسألة لا شيء الذي مخطط يحصل على ما أجزاء من البيانات. وسيكون كل سجل المدخلات متاحة لكل عملية تخفيض التي تحتاج إليها. نداش جو K سبتمبر 18 12 في 22:30 في أفضل من المتوسط ​​المتحرك فهم ليس خرائط لطيف ل مابريدوس نموذج منذ حسابه هو انزلاق نافذة أساسا على فرز البيانات، في حين مر هو معالجة نطاقات غير متقاطعة من البيانات التي تم فرزها. الحل أرى هو على النحو التالي: أ) لتنفيذ مخصص العرف لتكون قادرة على جعل قسمين مختلفين في اثنين من أشواط. في كل تشغيل المخفض الخاص بك سوف تحصل على نطاقات مختلفة من البيانات وحساب المتوسط ​​المتحرك حيث مناسبة سأحاول توضيح: في أول تشغيل البيانات للمخفضات ينبغي أن يكون: R1: Q1، Q2، Q3، Q4 R2: Q5، Q6، Q7، Q8 . هنا سوف كاكلوات المتوسط ​​المتحرك لبعض قس. في المدى التالي يجب أن تحصل على المخفضات الخاصة بك البيانات مثل: R1: Q1. Q6 R2: Q6. Q10 R3: Q10..Q14 و كاكلولات بقية المتوسطات المتحركة. ثم ستحتاج إلى تجميع النتائج. فكرة العرف المشارك أنه سيكون وضعين من العملية - في كل مرة تقسيم إلى نطاقات متساوية ولكن مع بعض التحول. في كسودوكود أنها سوف تبدو مثل هذا. التقسيم (كيشيفت) (ماكسكينوموفارتيتيونس) حيث: سيتم اتخاذ شيفت من التكوين. ماكسكي القيمة القصوى للمفتاح. أفترض للبساطة أنها تبدأ مع الصفر. ريكوردريدر، إمهو ليس حلا لأنه يقتصر على انقسام معين ولا يمكن أن تنزلق على حدود الانشقاقات. وهناك حل آخر هو تنفيذ المنطق المخصص لتقسيم بيانات المدخلات (وهو جزء من إنبوتفورمات). ويمكن القيام به للقيام 2 الشرائح المختلفة، على غرار التقسيم. الرد أفاتار سيب 17 12 في 8: 59I حصلت على قطعة من جافا كود باستخدام هادوب لحساب دقيقة، كحد أقصى، متوسط ​​والتباين على مجموعة بيانات كبيرة مصنوعة من (قيمة المؤشر) الأزواج مفصولة عن طريق خط جديد: تجميعها محليا وتشغيلها على جهاز التحكم عن بعد موزعة المثال هدفس بواسطة البرنامج النصي ش. اهتماماتي الرئيسية هي: إذا تم جمع الإخراج بترتيب مختلف، فإن الشيء يتوقف فقط عن العمل، وبدلا من إرجاع نتيجة واحدة لكل مفتاح، فإنه يطبع نفس المفتاح مرارا وتكرارا، وملء المحطة فإنه يخلق نسخة نص جديد كل الوقت الذي يبدو غير فعال حقا، ولكن عندما كنت متعبا لاستخدام ثابت واحد مشترك، توقف عن العمل. ربما باستخدام إنوم أن تفعل ما يرام، ولكن أنا لا أشعر مثل تغييره حتى أنا الثابتة النقطة السابقة. باستخدام الماسحة الضوئية داخل مخطط الخرائط لمعالجة المدخلات متعددة الخطوط بشكل صحيح، ولكن فقط إدخال سطر واحد يظهر. هل هادوب يضمن كل مصمم الخرائط فقط يتلقى مدخلات سطر واحد، أو هو الإعداد البعيد الذي يجعل من ذلك فإنه يستخدم النهج القديم لتوسيع فئة مابريدوسيباس وتنفيذ واجهة المخفض مابر. إيف قراءة أنه مع 2.0 واجهات برمجة التطبيقات الجديدة كافية لتمديد واحد مخطط أو المخفض الفئة. ومع ذلك، أنا غير قادر على العثور على أي وثيقة الهجرة مع وثيقة الهجرة بسيطة، ومعلمة وردكونت سبيل المثال التعليمي عالقا في r1.2.1. إديت: وجدت مرجعا لذلك. وآخر هنا. هل أنت متأكد من أن ما يلي دقيق بما فيه الكفاية مراعاة ما يلي: معرف استخدام لفترة طويلة هناك. أعتقد أنها ليست مشكلة هنا ولكن إذا إم الحق المخفض يمكن أن تعاني من هذا. في حالتك (مع نمط s) فإنه لا يستخدم أي مسار سريع، لذلك قد يكون من المفيد لتخزين مثيل نمط المترجمة والدعوة الانقسام على ذلك. (أعتقد أنه سيكون أسرع ولكن جفم قد مخبأ ذلك بالنسبة لك.) وضع إد إعلانات متغير إلى خطوط منفصلة. من كود كاملة 2nd الطبعة. p759: مع البيانات على خطوط خاصة بهم، يقرأ رمز من أعلى إلى أسفل، بدلا من أعلى إلى أسفل واليسار إلى اليمين. عندما كنت تبحث عن سطر معين من التعليمات البرمجية، يجب أن تكون العين قادرة على اتباع الهامش الأيسر من التعليمات البرمجية. ولا ينبغي أن يتراجع في كل سطر لمجرد أن سطر واحد قد يحتوي على بيانين. بالإضافة إلى ذلك، لا يتم استخدام الحد الأقصى والدقيقة (أنها مكتوبة فقط)، هل يمكن أن تزيلها بأمان (أو قد ترغب في طباعتها إلى الإخراج). إذا كان النص خيطا بشكل آمن، فيمكنك تخزين نص جديد (حساب) (والآخر) في الحقول بدلا من إنشائها على كل مكالمة للمساوات وكذلك ل output. collect (): يبدو أن هذا المبلغ و سومسكارد لهما نفس التنفيذ في المخفض. هل هذا خطأ إذا لم يكن يمكنك إنشاء طريقة للقضاء على المنطق المكرر. مجموع. sumSquared. دقيقة. ماكس يجب أن تكون الثوابت بدلا من الأرقام السحرية. هناك تستخدم عدة مرات. إعلان المتغيرات قبل استخدامها مع نطاق أوسع يبدو ميكروبتيميزاتيون: سيكون من السهل قراءتها يعلن لهم داخل حلقة. (جاوة الفعالة، الطبعة الثانية، البند 45: تقليل نطاق المتغيرات المحلية) أسلوب الحد يحتوي على الكثير من الهياكل المماثلة. معرف النظر في استخدام واجهة وظيفة مع بعض التطبيقات: سوف يقلل من المخفض. معرف إعادة هيكلة حلقة لقراءة أفضل: يستخدم المتغير الخط لأغراض متعددة. ومن شأن استخدام متغير منفصل أن يسهل قراءة الشفرة. على أي حال، باستخدام برينتوريتر سيكون أفضل: بدلا من التعليق كتابة وحدة اختبار لذلك: هو أكثر أمانا، وخاصة إذا كنت تستخدم التكامل المستمر أو تشغيل وحدة اختبار تلقائيا على كل بناء. هناك واردات غير المستخدمة: نظافة لها حذفها. الكسوف يمكن أن تفعل ذلك بالنسبة لك مع ضغطة (كترلشيفتو). وفقا لاتفاقيات التعليمات البرمجية لأسماء لغة لغة البرمجة جافا يجب أن تبدأ بأحرف كبيرة. معرف حاول إعطاء اسم أكثر وصفية، سوميثينغستاتيستيكش أو شيء مماثل. استدعاء خريطة مخطط مربكة (لأن هناك java. util. Map أيضا). معرف اختيار شيء أكثر وصفية. وينطبق الشيء نفسه على تقليل. إجابتك لديها الكثير من النقاط الجيدة، I39ll التصويت كمفيد، ولكن لا أستطيع أن يقبل ذلك حتى. وأحتاج حقا إلى معرفة النقاط التي أعرب عنها في السؤال. اهتمامي الرئيسي هو النقطة الأولى، وجمع الناتج هو هش للغاية الآن. I39ll التعليق على النقاط الخاصة بك، على الرغم من 1. هذا يمكن أن تؤخذ الرعاية من عندما يعمل كل شيء آخر. يتطلب تغيير جميع أنواع دوبلوريتابل إلى أوبجكتوريتابل أكثر عمومية، ثم الصب إما دوبلوريتابل أو إنتوريتابل 2. I39ll ربما إسقاط تقسيم تماما إذا كنت أستطيع التأكد من أنني دائما الحصول على بطانات واحدة كما المدخلات نداشينو مار 3 14 في 18:59 3. بالفعل حاولت ذلك، لكنه يكسر، it39s ربما تتعلق كيف هادوب مخازن مفاتيح 4. it39s غرامة، دقيقة و كحد أقصى يتم استخدامها من قبل ملف ش خارجي 5. it39s غرامة، أنا يمكن وضعها في نفس إذا 6. موافق 7. حصلت على هذه العادة في بلدي C أيام، وأنا أفضل عدم الثقة في المترجم جافا لتحسينات 8. أنا don39t الحصول عليه، وخاصة الدعوة كوتاغريغاتيكوت، أرى أي وظيفة كوتاغريغاتيكوت في المخفض 9. أنا أفضل عدم استخدام البيانات كسر وبدلا من ذلك جعل حالة الخروج واضحة 10. موافق، واحد جيد 11. هذا هو أكبر مشكلة بلدي، ولست بحاجة إلى حل ذلك، وليس فقط أفضل الإعلان عنها 12. موافق 13. موافق 14. حسنا، ميمابر نداش أغوستينو مار 3 14 في 18 : 59