2ÄÚ´æÅÌËãÄ£×Ó
Spark½ÓÄÉÄÚ´æÅÌËãÄ£×Ó£¬½«Êý¾Ý¼ÓÔØµ½ÄÚ´æÖоÙÐÐÅÌË㣬Õâ´ó´óÌáÉýÁËÊý¾Ý´¦Öóͷ£µÄËÙÂÊ¡£SparkµÄ½¹µãÊý¾Ý½á¹¹°üÀ¨£º
RDD£¨ResilientDistributedDataset£©£ºSparkµÄ×î»ù±¾µÄÊý¾Ý½á¹¹£¬Ö§³ÖÀëÏߺÍÔÚÏßÅÌË㣬¾ßÓи߿ɿ¿ÐÔºÍÈÝ´íÐÔ¡£DataFrame£ºÒ»ÖÖ¸ü¸ß¼¶µÄÊý¾Ý½á¹¹£¬ÀàËÆÓÚ¹ØÏµÊý¾Ý¿âÖÐµÄ±í£¬ÌṩÁ˸ü¶àµÄSQL¹¦Ð§¡£DataSet£ºÒ»ÖÖÓëRDDÀàËÆµÄÊý¾Ý½á¹¹£¬µ«?Ö§³ÖÀàÐÍÇå¾²µÄ²Ù×÷£¬¸üÊʺÏʹÓÃJavaºÍScala±à³ÌÓïÑÔ¡£
ÆæÒìµÄ´´ÒâÓë׳ÀöµÄ?ÊÓ¾õЧ¹û
º£ÄÚsparksparklingÊÓÆµµÄ×î´óÌØÉ«ÔÚÓÚÆäÆæÒìµÄ´´ÒâºÍ׳ÀöµÄÊÓ¾õЧ¹û¡£ÕâЩÊÓÆµ²»µ«½öÊǼòÆÓµÄ¼ô¼£¬¶øÊÇÒÕÊõµÄ½á¾§¡£ÖÆ×÷Õßͨ¹ýÖÖÖÖÌØÐ§¡¢¶¯»¡¢ÌØÐ´¾µÍ·µÈÊֶΣ¬½«¼òÆÓµÄËØ²Äת»¯ÎªìÅÄ¿µÄÊÓ¾õÊ¢Ñç¡£ÕâЩÊÓÆµµÄÉ«²Ê¸»ºñ¡¢½Ú×à¸ÐÇ¿£¬¹ÛÖÚÔÚԢĿÀú³ÌÖÐËÆºõÖÃÉíÓÚÒ»¸ö³äÂúÃλÃÓëÀíÏëµÄÌìÏ¡£
Êý¾ÝÇý¶¯µÄ¸öÐÔ»¯Ñ§Ï°
ÏÖ´úSparkʵ¼ùÊÓÆµÍøÕ¾ÍùÍùÒÀÀµ´óÊý¾ÝºÍÈ˹¤ÖÇÄÜÊÖÒÕ£¬Í¨¹ý¶ÔÓû§Êý¾ÝµÄÆÊÎö£¬Ìṩ¸ß¶È¸öÐÔ»¯µÄѧϰÌåÑé¡£ÀýÈ磬ϵͳ»áƾ֤ѧϰÕßµÄѧϰ½ø¶È¡¢´í?ÎóƵÂÊºÍÆ«ºÃ£¬ÍƼö×îÊʺϵÄѧϰ×ÊÔ´ºÍ·¾¶¡£ÕâÖÖÊý¾ÝÇý¶¯µÄ¸öÐÔ»¯Ñ§Ï°²»?½öÌáÉýÁËѧϰЧÂÊ£¬»¹ÄÜ×ÊÖúѧϰÕ߸üºÃµØÕÆÎÕºÍÓ¦ÓÃËùѧ֪ʶ¡£
ʵ¼ùÖеij£¼ûÎÊÌâ¼°½â¾ö¼Æ»®
ÔÚÏÖʵӦÓÃSparkʱ£¬ÎÒÃÇ¿ÉÄÜ»áÓöµ½ÖÖÖÖÎÊÌâ¡£ÖйúSparkʵ¼ùÍøÕ¾ÌṩÁËÏêϸµÄ½â¾ö¼Æ»®£º
ÄÚ´æÈ±·¦£º½Ì³ÌÏÈÈÝÁËÔõÑùͨ¹ýµ÷½âSparkÉèÖòÎÊýºÍÓÅ»¯Ëã·¨£¬½â¾öÄÚ´æÈ±·¦µÄ?ÎÊÌ⡣ʹÃüʧ°Ü£º½Ì³ÌÌṩÁ˵÷ÊÔºÍÅŲéSparkʹÃüʧ°ÜµÄÒªÁ죬°üÀ¨ÈÕÖ¾ÆÊÎöºÍ¹ýʧ´¦Öóͷ£¡£ÐÔÄÜÓÅ»¯£º½Ì³ÌչʾÁËÔõÑùͨ¹ýµ÷ÓÅSparkÉèÖá¢ÓÅ»¯Ëã·¨ºÍʹÓÃÂþÑÜʽÅÌËãÀ´Ìá¸ßSparkʹÃüµÄÐÔÄÜ¡£
¸ß¼¶Ó¦ÓÃ
¹ØÓÚÓÐÒ»¶¨»ù´¡µÄÓû§£¬ÖйúSparkʵ¼ùÍøÕ¾»¹ÌṩÁ˸߼¶Ó¦ÓõĽ̳̣º
»úеѧϰ£ºÍ¨¹ýMLlib£¬½Ì³ÌչʾÁËÔõÑùʹÓÃSpark¾ÙÐлúеѧϰ£¬°üÀ¨Êý¾ÝÔ¤´¦Öóͷ£¡¢Ä£×ÓѵÁ·ºÍÆÀ¹ÀµÈ?¡£ÊµÊ±Êý¾Ý´¦?Àí£º½Ì³ÌÏÈÈÝÁËÔõÑùʹÓÃSparkStreaming´¦Öóͷ£ÊµÊ±Êý¾ÝÁ÷£¬°üÀ¨Êý¾ÝÊÕÂÞ¡¢´¦Öóͷ£ºÍչʾ¡£Í¼ÅÌË㣺ͨ¹ýGraphX£¬½Ì³ÌչʾÁËÔõÑùʹÓÃSpark¾ÙÐÐͼÊý¾ÝµÄ´¦Öóͷ£ºÍÆÊÎö¡£
¼ÌÐøÌ½Ë÷ÖйúSparkʵ¼ùÍøÕ¾ÌṩµÄ¸»ºñ×ÊÔ´£¬ÎÒÃǽ«ÉîÈëÏàʶÔõÑùͨ¹ýÏÖʵÏîÄ¿ºÍ°¸ÀýÀ´Ó¦ÓÃSparkÊÖÒÕ£¬ÊµÏÖ¸ßЧµÄ?Êý¾ÝÆÊÎöºÍ´¦Öóͷ£¡£
ÍÆ¼öϵͳ
ÍÆ¼öϵͳÊÇ»úеѧϰÔÚÏÖʵӦÓÃÖеÄÒ»¸öÖ÷ҪƫÏò¡£Í¨¹ýMLlib£¬ÎÒÃÇ¿ÉÒÔ¹¹½¨Ò»¸ö¼òÆÓµÄÍÆ¼öϵͳ¡£
Êý¾Ý×¼±¸£º×¼±¸ºÃÍÆ¼öϵͳËùÐèµÄÊý¾Ý£¬ÈçÓû§ÐÐΪÊý¾Ý¡¢ÉÌÆ·ÐÅÏ¢µÈ¡£½¨Ä££ºÊ¹ÓÃSparkMLlibÖеÄËã·¨£¬ÈçALS£¨½»Ìæ×îС¶þ³Ë·¨£©£¬¹¹½¨ÍƼöϵͳģ×Ó¡£²âÊÔÓëÆÀ¹À£º²âÊÔÍÆ¼öϵͳµÄÐÔÄÜ£¬ÆÀ¹ÀÄ£×ÓµÄ׼ȷÐÔºÍЧ¹û¡£
Óû§»¥¶¯ÓëÉçÇø½¨Éè
δÀ´£¬º£ÄÚsparksparklingÊÓÆµ½«Ô½·¢×¢ÖØÓû§»¥¶¯ºÍÉçÇø½¨É衣ͨ¹ý½¨ÉèºÍά»¤»îÔ¾µÄÉçÇø£¬´´×÷Õß¿ÉÒÔÓë·ÛË¿¾ÙÐиüÉîÌõÀíµÄ½»Á÷£¬Ïàʶ¹ÛÖÚµÄÕæÊµÐèÇóºÍÒâ¼û£¬´Ó¶øÒ»Ö±Ë¢ÐºÍÁ¢Òì¡£ÉçÇøÄڵĻ¥¶¯ºÍ½»Á÷½«³ÉΪÊÓÆµÆ½Ì¨µÄÖ÷Òª×é³É²¿?·Ö£¬ÔöÇ¿¹ÛÖÚµÄÕ³ÐÔºÍÖҳ϶ȡ£
ÔõÑùʹÓÃÊÓÆµÀ´ÌáÉý±à³ÌÊÖÒÕ
1.É趨ѧϰĿµÄ£ºÔÚ×îÏÈѧϰ֮ǰ£¬ÏÈÉ趨һ¸öÃ÷È·µÄÄ¿µÄ¡£ÊÇÏ£ÍûÕÆÎÕijÖÖ±à³ÌÓïÑÔ£¬ÕÕ¾ÉÌáÉýijһÏîÊÖÒÕÄÜÁ¦£¿Ã÷È·Ä¿µÄÓÐÖúÓÚÄã¸üÓÐÕë¶ÔÐÔµØÑ¡ÔñÊÓÆµÄÚÈÝ¡£
2.ϵͳѧϰ£ºÖ»¹Üƾ֤ÊÓÆµÖеÄϵͳ»¯½Ìѧ¾ÙÐÐѧϰ£¬²»ÒªËæÒâÌøÔ¾¡£ÏµÍ³Ñ§Ï°ÓÐÖúÓÚÄ㽨ÉèÆðÍêÕûµÄ֪ʶ¿ò¼Ü¡£
3.ÏÂÊÖʵ¼ù£ºÃ¿Ñ§Ï°ÍêÒ»¸öÊÓÆµ£¬¶¼ÒªÊµÑéÔÚ×Ô¼ºµÄµçÄÔÉÏÏÂÊÖʵ¼ù¡£Êµ¼ùÊÇÀο¿ÖªÊ¶µÄ×î¼Ñ·½·¨¡£
4.ÖØ¸´ÑµÁ·£º±à³ÌÊÇÒ»ÃÅÐèÒªÖØ¸´ÑµÁ·µÄÊÖÒÕ£¬²»ÒªÅÂÖØ¸´Ñ§Ï°¡£¶à´ÎԢĿ¡¢¶à´Îʵ¼ù£¬²Å»ªÕæÕýÕÆÎÕ¡£
5.½â¾öÎÊÌ⣺ÔÚѧϰÀú³ÌÖУ¬Óöµ½ÎÊÌâʱ£¬²»Òª¼±ÓÚÇó³É£¬¶à˼Ë÷¡¢¶à½â¾ö¡£Í¨¹ý½â¾öÎÊÌ⣬ÄãµÄ±à³ÌÍ·ÄÔ»á»ñµÃ¼«´óµÄÄ¥Á¶¡£
У¶Ô£ºË®¾ùÒæ(f3J1ePQDlzHhwh44q38w4Ima2E3XrDq)



