当前位置: 首页 > >

´Ó¡°Á÷´¦Àí¡±µ½¡°Á÷ÅúÒ»Ì塱£¬Apache Flink µÄ19¸öÆóÒµ×î¼Ñʵ¼ù

发布时间:


*ÄêÀ´£¬Ëæ×Åʵʱ»¯ÐèÇóµÄ³¡¾°ÈÕÒæÔö¶à£¬ÆóÒµÒѲ»Âú×ãÓÚ¼òµ¥Ê¹ÓÃÁ÷¼ÆËã»òÅú¼ÆËã½øÐÐÊý¾Ý´¦Àí£¬²ÉÓÃÒ»Ì×ÒýÇæ¼´¿ÉʵÏÖµÍÑÓ³Ù¡¢¸ßÍÌÍ¡¢¸ßÎȶ¨µÄÇ¿´óÐÔÄÜÖð½¥³ÉΪ¸ü¶àÆóÒµµÄ×·Çó¡£Apache Flink ×÷ΪÁìÏȵĿªÔ´´óÊý¾Ý¼ÆËãÒýÇ棬ÔÚÁ÷ÅúÒ»ÌåµÄ̽Ë÷ÉÏÈÕÕé³ÉÊ죬²¢ÔÚÎȶ¨ÐÔ¡¢ÐÔÄܺÍЧÂÊ·½Ã涼¾­ÊÜסÁË°¢Àï°Í°ÍË«11µÄÑÏ¿ÁÉú²ú»·¾³¿¼Ñé¡£


Èç½ñ£¬³ýµçÉÌÐÐÒµÍ⣬Flink Á÷ÅúÒ»ÌåµÄÓ¦Óü¸ºÎ£¿ÔÚ½µ±¾ÔöЧµÄÐèÇóÇý¶¯Ï£¬ÆóÒµÈçºÎʵÏÖÊý¾ÝÓëËãÁ¦¼ÛÖµ×î´ó»¯£¿


12ÔÂ13ÈÕ-15ÈÕ£¬Flink Forward Asia 2020?ÔÚÏß·å»á£¬À´×Ô×Ö½ÚÌø¶¯¡¢ÌÚѶ¡¢¿ìÊÖ¡¢Î¢²©¡¢Bigo¡¢ÍøÒ×ÓÎÏ·¡¢Öªºõ¡¢°®ÆæÒÕ¡¢Ð¡Ãס¢¾©¶«¡¢Æû³µÖ®¼Ò¡¢±´¿ÇÕÒ·¿¡¢58ͬ³Ç¡¢ºÃδÀ´¡¢360¡¢ÍøÒ×ÔÆÒôÀÖ¡¢ÓÐÔÞ¡¢ÂìÒϼ¯ÍÅ¡¢ÌìèµÈ 19 ¼Ò¸÷ÐÐÒµµÄÏÈÐÐÕßÃÇ·ÖÏíÓÅÐãµÄ¼¼Êõʵ¼ù°¸Àý£¬¼°ÆäʵÓᢿÉÂäµØµÄ¼¼ÊõÓ¦Óÿª·¢¾­Ñé¡£


? ɨÂëÁ˽âÍêÕû´ó»áÒé³Ì??



£¨´ó»á¹ÙÍø£©


±¾ÎĽÚÑ¡?Flink Forward?Asia 2020 ÔÚÏß·å»áÐÐҵʵ¼ùר³¡Ö÷Ìâ·ÖÏí£¬²¢Ïêϸ½éÉܸ÷Ö÷ÌâÄÚÈݹ©´ó¼Ò²Î¿¼£¬¸ü¶à´ó»áÒé³ÌÇëµã»÷¡¸ÔĶÁÔ­ÎÄ¡¹¡«


¿ìÊÖ»ùÓÚ Apache Flink µÄ³ÖÐøÓÅ»¯Êµ¼ù


¶­Í¤Í¤ |?¿ìÊÖʵʱ¼ÆË㸺ÔðÈË


±¾´ÎÒéÌâÖ÷Òª½éÉÜ¿ìÊÖ»ùÓÚ Apache Flink ÔÚÎȶ¨ÐÔ¡¢¿ÉÓÃÐÔ¼° SQL ÒýÇæ·½Ãæ½øÐеijÖÐøÓÅ»¯Óëʵ¼ù¡£Öصã°üÀ¨Èý²¿·Ö£º


    Îȶ¨ÐÔÓÅ»¯¡£¸÷À൥µã¹ÊÕÏÔì³ÉµÄ×÷ÒµÖ*ô£¬ÓÅ»¯¹ÊÕÏ·¢ÏÖ¡¢×÷ÒµÖ*ô¹ý³Ì£¬½øÒ»²½Ëõ¶Ì×÷Òµ»Ö¸´Ê±¼ä¡£

    ×÷ÒµÆô¶¯ÓÅ»¯¡£ÓÅ»¯×÷ÒµÆô¶¯Á÷³Ì£¬½øÒ»²½Ëõ¶Ì×÷ÒµÉý¼¶Æô¶¯Ê±¼ä¡£

    Flink SQL ÓÅ»¯¡£ÔÚ Flink SQL Ó¦Óùý³ÌµÄÎÊÌâ×ö½øÒ»²½ÓÅ»¯£¬°üÀ¨ÓÅ»¯ udf Öظ´Ö´ÐУ¬ÓÅ»¯ groupby bounded ³¡¾°ÏÂÊý¾ÝÇãбÎÊÌâ¡£


?


Bigo ʵʱ¼ÆËã*̨½¨Éèʵ¼ù


Ðì˧ |?Apache Flink Contributor£¬Bigo¼ÆËã*̨¸ºÔðÈË


?


Ö÷Òª½éÉÜ Bigo ʵʱ¼ÆËã*̨µÄ½¨É輰Ϊ֧³ÖÒµÎñ³¡¾°Ëù×öÀ©Õ¹¼°ÓÅ»¯¡£·ÖΪ¼¸¸öС½Ú£º


    ½éÉÜ Bigo ʵʱ¼ÆËã*̨µÄ·¢Õ¹¹ý³Ì¼°ÏÖ×´¡£

    ½éÉÜÔÚ Flink ÉÏ×öµÄÓÅ»¯¼°Ò»Ð©×Ô¼ºµÄÌØÉ«¡£°üÀ¨¸ú Pulsar£¬ClickHouse µÈÉú̬µÄ½áºÏ¡£

    ½éÉܵäÐ͵ÄÒµÎñ³¡¾°¡£Öصã½éÉÜÊÓƵ¡¢Ö±²¥µÈ App ´òµãÊý¾ÝҪͨ¹ý Flink ½øÐÐʵʱ ETL Ö®ºóÂäµ½ Hive Àï¡£Ôڴ˹ý³ÌÖÐÎÒÃǽâ¾öÁË´òµãÊý¾ÝµÄ×Ô¶¯»¯½ÓÈë¡¢×Ô¶¯Çз֣¬²»Í¬ topic Ï໥¸ôÀ룬¶Ëµ½¶Ë Exactly once£¬¸ù¾Ý Event time À´±£Ö¤ Hive partition дÍêÕû²¢´´½¨ meta µÈÎÊÌâ¡£

    ½éÉÜ Flink ¶ÔÒµÎñ´øÀ´µÄЧÂÊÉϵÄÌáÉý¡£APP ÉϵŦÄÜÿÌ춼ÔÚ½øÐÐ ABTest£¬´«Í³×ßÅú´¦ÀíµÄ·½·¨¼ÆËã×ÊÔ´ÏûºÄ¶à£¬¶øÇÒʱЧÐÔÌ«²î¡£Í¨¹ý½«Ô­ÏÈÅú´¦ÀíµÄÁ´Â·¸ÄÔìΪÓà Flink ×öʵʱµÄ¼ÆË㣬ʵÏÖÁËÁ÷ÅúÒ»Ì壬´ó´óµÄÌá¸ßÁË ABTest µÄЧÂÊ£¬²¢ÇÒ½ÚÊ¡ÁË×ÊÔ´¡£


Flink ʵʱ¼ÆËãÔÚ΢²©µÄÓ¦ÓÃ


²Ü¸»Ç¿ | ΢²©»úÆ÷ѧ*Ñз¢ÖÐÐÄÊý¾Ý¼ÆË㸺ÔðÈË£¬¸ß¼¶ÏµÍ³¹¤³Ìʦ


?


    »ùÓÚ Flink ´î½¨µÄ΢²©ÊµÊ±¼ÆËã*̨

    ΢²©ÊµÊ±Êý²ÖµÄ´î½¨ºÍÓ¦ÓÃ

    Flink ÔÚ»úÆ÷ѧ*µÄÓ¦Óü°*̨»¯?

    ÅúÁ÷Ò»Ìå Flink?SQL


?


ÌÚѶÓÎϷʵʱ¼ÆËãÓ¦ÓÃ*̨½¨Éèʵ¼ù


ÐíÕñÎÄ | ÌÚѶÓÎÏ·ÔöÖµ·þÎñ²¿Êý¾ÝÖÐÐĺǫ́¿ª·¢×é×鳤


?


ÏÖÔÚÍøÂçÓÎÏ·Êг¡¹æÄ£ÒѾ­´ïµ½Êý°ÙÒÚÃÀÔªµÄÁ¿¼¶£¬ÔÚ´óÊý¾ÝºÍ΢·þÎñ¼¼ÊõµÄÀ˳±ÖУ¬ÈçºÎͨ¹ýÊý¾Ý»¯ÓªÏúÀ´ÓÅ»¯ÓÎÏ·ÔËÓª??


±¾ÒéÌ⽫½éÉÜÕë¶ÔÕâÒ»Ó¦ÓÃÇ÷Êƶø¹¹½¨µÄÌÚѶÓÎÏ·Êý¾ÝÓªÏú·þÎñ¿ª·¢*̨£¬½²ÊöÈçºÎ½«´óÊý¾ÝºÍ΢·þÎñ½øÐкÏÀíµÄ²ð·Ö£¬ÒÔ¼°Í¨¹ý¶ÔÕâЩÄÜÁ¦ºÏÀíÓÐЧµÄ×éÖ¯ºÍ¼Ü¹¹À´ÎªÓÎÏ·ÒµÎñÌṩ¶àÑù»¯µÄÊý¾ÝÓªÏú·þÎñ¡£ÔÚÄÚ²¿ÈçºÎ¸ù¾ÝÓÎÏ·ÒµÎñÊý¾Ý»¯ÔËÓª³¡¾°Êµ¼ùÂäµØ´ó¹æÄ£µÄ Flink¡¢Kafka¡¢ServiceMesh µÈ¼¼Êõ¡£


Ϊ´ó¼Ò½ÒʾÆù½ñΪֹÊý¾ÝÓëÓÎÏ·½áºÏµÄ·á¸»¼¼ÊõÂäµØ³¡¾°£¬ÒÔ¼°ÓÎÏ·ÁìÓòÊý¾Ý¼¼Êõ»ù´¡ÉèÊ©ºÍ¼¼Êõ*̨¼Ü¹¹£¬²¢Óë´ó¼Ò̽ÌÖδÀ´Êý¾Ý¼¼ÊõÓëÓÎÏ·½áºÏµÄ¸ü¶à¿ÉÄÜÐÔ¡£


?


ÖªºõµÄ Flink Êý¾Ý¼¯³É*̨½¨Éèʵ¼ù


ËïÏþ¹â | Öªºõ¼¼Êõ*̨¸ºÔðÈË


?


Öªºõ»ùÓÚ Sqoop ´î½¨ÁË×Ô¼ºµÄÀëÏßÊý¾Ý¼¯³É*̨£¬ÔÚ¹ýÍùµÄʹÓùý³ÌÖÐÊÜÏÞÓÚ Sqoop ¼Ü¹¹µÄÏÞÖƺÍÉçÇø²»¹»»îÔ¾µÄ״̬£¬Ðí¶à*̨ÄÜÁ¦ºÍÌåÑéµÄ¸Ä½øÄÑÒÔʵÏÖ¡£Flink ×÷ΪÐÂÒ»´úµÄ·Ö²¼Ê½¼ÆËãÒýÇ棬ӵÓзdz£»ý¼«»îÔ¾µÄÓû§ÉçÇøºÍ¿ª·¢ÕßÉú̬¡£Flink ·á¸»³ÉÊìµÄÊý¾ÝÔ´Ö§³ÖºÍÁé»îµÄ¿ª·¢ÄÜÁ¦ÊÇÖªºõÏÂÒ»´úÊý¾Ý¼¯³É*̨µÄÀíÏë»ù×ù¡£


±¾´ÎÖ÷Ì⽫·ÖÏíÖªºõÒÔ Flink Ϊ»ù´¡´òÔìµÄͨÓÃÊý¾Ý¼¯³É*̨£¬´ò֪ͨºõÄÚ²¿¸÷ÏîÊý¾Ý×ʲú¡£


?


»ùÓÚ Flink ºÍ LogMiner µÄ Oracle CDC ʵ¼ù


´ÞÐÇ²Ó | Apache Flink Committer£¬Wealthsimple Èí¼þ¹¤³Ìʦ


?


×÷Ϊһ¼Ò½ðÈڿƼ¼¹«Ë¾£¬Wealthsimple ³¤ÆÚÒÀÀµ Oracle General Ledger ´æ´¢Óû§½»Ò×µÈÕËÄ¿Êý¾Ý¡£ÎªÁËÖ§³ÖÕË»§Óà¶î¼°½ðÈÚ²úÆ·³Ö²ÖµÈÏà¹ØÒµÎñ£¬Õ˲¾ÍŶÓÐèÒª´Ó Oracle ÖгÖÐøµ¼³ö×îÐÂÈëÕËÊý¾Ý½øÐкËËã¡£


ÏÖÓлùÓÚ SQL ÂÖѯµÄÊý¾Ý»ñÈ¡·½Ê½´æÔÚ×ÅÑӳٽϸߡ¢ÎÞ·¨¼ì²âÊý¾Ý¸üеȱ׶ˣ¬Îª´ËÍŶӾö¶¨²ÉÓà Change Data Capture£¨CDC£©Ìæ»»µ±Ç°·½°¸¡£Êµ¼ù¹ý³ÌÖУ¬ÎÒÃǽèÖú Oracle LogMiner ºÍ Flashback Query ʵÏÖÁË»ù±¾µÄÊý¾Ý²¶»ñÂß¼­£¬²¢½«ÆäǶÈëµ½ Flink Source Connector ÖС£Í¬Ê±£¬ÎªÁ˱£Ö¤¶Ëµ½¶ËµÄ¾«È·Ò»´ÎÓïÒ壬ÎÒÃÇ»ùÓÚ XA Transaction Íê³ÉÁËÒ»¸öÖ§³ÖÁ½½×¶ÎÌá½»µÄ Flink JDBC Sink Connector¡£


±¾´ÎÑݽ²ÄÚÈݽ«»áº­¸ÇʹÓà LogMiner ºÍ Flink ²¶»ñ Oracle Êý¾Ý¸Ä¶¯µÄ»ù´¡ÖªÊ¶£¬ÒÔ¼°ÍŶÓÔÚÉÏÊöÏîÄ¿³õÆÚµÄ̽Ë÷Óë˼¿¼¡£


?


Flink SQL ÔÚÔÆÒôÀֵIJúÆ·»¯Êµ¼ù


½¯ÎÄΰ | º¼ÖÝÍøÒ×ÔÆÒôÀÖÊý¾ÝÖÇÄܲ¿×ÊÉîÊý¾Ý*̨¿ª·¢¹¤³Ìʦ


?


SQL ×÷ΪÓÅÐãµÄÊý¾Ý´¦ÀíÓïÑÔ±»¹ã·ºÊ¹Ó㬵«Ô­ÉúµÄ Flink SQL ÔÚʵ¼ÊʹÓùý³ÌÖÐÍùÍù»áÓöµ½ÎÞ·¨Âú×ãÒµÎñµÄÇé¿ö£¬±¾´ÎÖ÷Ì⽫½éÉÜÔÆÒôÀÖΪ½â¾öÕâЩÎÊÌâ¶ø½øÐеŤ×÷¡£Ö÷Òª·ÖÏíÄÚÈÝΪ£º


    ¹¦ÄÜÀ©Õ¹Óë·â×°£¬½¨Á¢ÁËÖ§³ÖÄ£¿é»¯Óë×é¼þ»¯µÄ Notebook ¿ª·¢»·¾³¡£

    ÐÔÄܵ÷ÓÅ£¬½â¾öÒµÎñʵ¼Ê³¡¾°ÖÐÓöµ½µÄ¶Áд·½ÃæÆ¿¾±¡£

    Ç¿»¯ÔËά¼à¿Ø£¬½¨Á¢×Ô¼ºµÄÖÇÄÜÕï¶ÏÌåϵ¡£

    ·ÖÏíÄÚ²¿°¸Àý¡£


??


Apache Flink ÔÚ¾©¶«µÄʵ¼ùÓëÓÅ»¯


¸¶º£ÌÎ | ¾©¶«¸ß¼¶¼¼Êõר¼Ò


?


¾©¶«ÓÚ2018-¿ªÊ¼»ùÓÚ Flink+K8s ÉîÈë´òÔì¸ßÐÔÄÜ¡¢Îȶ¨¡¢¿É¿¿¡¢Ò×ÓõÄʵʱ¼ÆËã*̨£¬Ö§³ÅÁ˾©¶«ÄÚ²¿¶àÌõÒµÎñÏß*Îȶȹý618¡¢Ë«11¶à´Î´ó´Ù¡£


±¾´Î½²Ñݽ«·ÖÏí¾©¶« Flink ÔÚʵ¼ù¹ý³ÌÖÐÓöµ½µÄÎÊÌâ¡¢ÌôÕ½ºÍ½â¾ö·½°¸£¬¶ÔÉçÇø°æ Flink Ëù×öµÄ¶¨ÖƺÍÓÅ»¯£¬ÒÔ¼°Î´À´µÄÕ¹ÍûºÍ¹æ»®¡£


?


Flink ÔÚÓÐÔÞµÄʵ¼ùºÍÓ¦ÓÃ


ÉòÀÚ | Apache Flink Contributor£¬ÓÐÔÞÊý¾ÝÑз¢


?


±¾´Î·ÖÏíÖ÷Òª½²½âÓÐÔÞ Flink »ùÓÚ K8S ÈÝÆ÷»¯¸ÄÔìµÄʵ¼ù»¯¾­Ñé¡£ÔÚ Flink SQL ·½Ã棬Ҳ»á·ÖÏíÔÚ Flink SQL µÄʵ¼ù£¬Èç¸ß¿ÉÓà HBase¡¢ÎÞÃÜ MySQL Connector ʵ¼ù£¬Flink SQL Óë ClickHouse ¼¯³É£¬ÒÔ¼°Ö§³Ö checkpoint ×÷Ϊ״̬»Ö¸´µÈ¡£


?


×îºó»á·ÖÏí Flink Jar ºÍ SQL ÈÎÎñѪԵԪÊý¾Ý×Ô¶¯»¯²É¼¯¾­Ñé·ÖÏí£¬Í¨¹ýÈÎÎñÔªÊý¾ÝÐÅÏ¢£¬°ïÖúÒµÎñ·½¸üºÃµÄ¹ÜÀíºÍά»¤×Ô¼ºµÄʵʱÈÎÎñ¡£


?


Flink ÔÚ58ͬ³ÇÓ¦ÓÃÓëʵ¼ù


·ëº£ÌÎ | 58ͬ³Ç´óÊý¾Ý²¿Ãżܹ¹Ê¦£¬ÊµÊ±¼ÆËã*̨¸ºÔðÈË


?


    58ʵʱ¼ÆËã*̨¼ò½é???

    Flink ÔÚ58µÄÒµÎñʵ¼ù?? ??

    *̨»¯½¨Éè? ??

    δÀ´¹æ»®


»ùÓÚ Flink µÄ PB ¼¶Êý¾Ý¼´Ï¯²éѯʵ¼ù


ËÕ¾ü | 360ÕþÆó°²È«¼¯ÍÅ´óÊý¾Ý¿ª·¢¹¤³Ìʦ


Áõ¼Ñ | 360ÕþÆó°²È«¼¯ÍÅ´óÊý¾Ý¿ª·¢¹¤³Ìʦ


?


ΪÂú×ã˽ÓÐÔƲ¿ÊðÏ£¬Ê¹ÓÃÓÐÏÞ×ÊÔ´¶Ô PB ¼¶»úÆ÷Êý¾Ý½øÐÐÃ뼶¼´Ï¯²éѯ£¬½øÐа²È«·ÖÎöµÄÐèÇó£¬360 ±¾µØ°²È«´óÄÔÀûÓûúÆ÷Êý¾ÝµÄ¸ß¶ÈÖظ´ÐÔ¡¢²éѯµÄ¹æÂÉÐÔ¡¢ÒÔ¼°ÃüÖÐÊý¾Ý±ÈÀýµÍµÄÌص㣬Éè¼Æ²¢ÊµÏÖÁË¡°Blink + ORC Îļþ´æ´¢ + ÎļþË÷Òý¡±µÄ²éѯ·½°¸¡£


·½°¸Í¨¹ýË÷Òý»úÖÆ£¬°Ñֻռԭʼ ORC Îļþ´óСµÄ 1/100,000 µÄ ORC ¸÷ÖÖÓÐЧµÄͳ¼ÆÐÅÏ¢£¨min/max¡¢×Öµä±í¡¢bloom filter£©³Ö¾Ã»¯½øÍⲿÊý¾Ý¿â£¬²¢ÒýÈëSpace Filling CurveËã·¨¶Ô¶àÁÐÊý¾Ý½øÐÐÅÅÐòÀ´ÌáÉý¶àÁÐÊý¾ÝµÄÓÐÐòÐÔ£¬´ó·ù¶È¼õÉÙÐèÒª½øÈë Blink µÄ ORC Êý¾Ý¹æÄ££¬Í¬Ê±ÔÚ Blink SQL ÖнøÐÐ¶Ô ORC µÄ²éѯÓÅ»¯¡£


?


ºÃδÀ´ÅúÁ÷ÈÚºÏʵʱ*̨ÔÚ½ÌÓýÐÐÒµµÄʵ¼ù


ëÏéÒç | ºÃδÀ´×ÊÉîÊý¾Ý*̨¹¤³Ìʦ


?


    ºÃδÀ´ÊµÊ±Êý¾Ý·ÖÎöÏÖ×´

    ºÃδÀ´ÊµÊ±Ðø±¨Êý²Ö½¨Éè

    ºÃδÀ´ÊµÊ±Êý¾Ý·ÖÎö*̨

    Õ¹ÍûÓë¹æ»®


?


ÍøÒ×ÓÎÏ·»ùÓÚ Flink µÄÁ÷ʽ ETL ½¨Éè


ÁÖС²¬ | Apache Flink Contributor£¬ÍøÒ×ÓÎÏ·×ÊÉ·¢¹¤³Ìʦ


?


Á÷ʽ ETL ÊÇʵʱ¼ÆËãÖÐ×îΪ»ù´¡µÄÓ¦Ó㬶øÔÚÍøÒ×ÓÎÏ·£¬ÓÉÓÚÓÎÏ·ÒµÎñµü´ú¿ìµ¼ÖÂÊý¾Ý Schema ±ä¸üƵ·±£¬ËùÒÔ½«¸´ÔӵļÆËãÑÓºóµ½Êý¾Ý²Ö¿â¼ÆËãµÄ ELT ÊǸüΪ³£ÓõÄģʽ¡£½¨ÉèÁ÷ʽ ELT Ö÷ÒªµÄÌôÕ½ÊÇÈÃÓû§ÎÞ¸ÐÖªµ*½»¬Ç¨ÒƵ½Á÷ʽ ELT£¬ÆäÖаüÀ¨ Python ?UDF¡¢HDFS дÈëÓÅ»¯¼°Òì³£´¦Àíʵ¼ù¡£


ÍøÒ×ÓÎÏ·´óÊý¾Ý*̨½¨ÉèµÄÔçÆÚ½¨Á¢ÁË»ùÓÚ Hadoop Streaming + Python ½Å±¾µÄÀëÏß ELT ¿ò¼Ü£¬Òò´ËÔÚ 2018 -½¨Á¢»ùÓÚ Flink µÄÁ÷ʽ ELT ʱÊ×ÒªÈÎÎñÊÇÌṩ Python UDF£¬×ۺϿ¼ÂǺóʵÏÖÁËÒ»Ì×»ùÓÚ Jython µÄ Python UDF ¿ò¼Ü¡£


Á÷ʽ ELT µÄÆ¿¾±Í¨³£ÔÚ HDFS£¬Òò´ËÁ÷ʽ ELT Ö÷Òª´ÓÁ½¸ö;¾¶ÓÅ»¯ HDFS дÈ룺һÊÇͨ¹ýÊý¾ÝÁ÷·ÖÇøÁîÿ¸ö sink subtask ½ÓÊÕ¾¡Á¿ÉٵķÖÇøµÄÊý¾Ý£¬´Ó¶ø¼õÉÙ´ò¿ªµÄÎļþÊý£»¶þÊÇͨ¹ýÒÔÿ¸öÊý¾Ý·ÖÇøÖ»´ò¿ªÒ»¸öÎļþ²¢²»¶Ï append µÄÐÎʽÀ´Ð´È룬À´¼õÉÙÎļþ×ÜÊýºÍ RPC Êý£¨ÐèÅäºÏÿ´Î checkpoint ʱͬ²½Îļþ³¤¶È»úÖƺÍÈ¡ÏûÎļþǰ׺£¬ÓзÖÖÓ¼¶±ðµÄÔà¶Á·çÏÕ£©¡£ÔÚÒì³£´¦Àí·½Ã棬Ìṩ»ùÓÚ SideOutput µÄ´íÎóÁ÷À´·ÖÀà±£´æ²»Í¬µÄ´íÎóÂëµÄÊý¾Ý£¨±ÈÈç³Ùµ½Ê¼þ»ò UDF Òì³££©£¬ÁíÍâʹÓûùÓÚ State µÄ Accumulator À´¼Ç¼ÏûÏ¢µÄÁ÷Ïò£¬²¢²É¼¯µ½ ELK ×ö¿ÉÊÓ»¯¼à¿Ø¡£


?


Flink ÔÚСÃ×µÄ*̨»¯Êµ¼ù


Íõ¼Óʤ | СÃ׸߼¶Èí¼þ¹¤³Ìʦ


?


´Ó2019Ä꿪ʼ½ÓÈ룬Flink ÔÚСÃ×Ö§³ÅÁËÔ½À´Ô½¶àµÄÒµÎñ£¬°üÀ¨ÐÅÏ¢Á÷ÍƼö¡¢ÉÌÒµ¹ã¸æ¡¢Ð¡Ã×½ðÈÚµÈÖØÒªÒµÎñ£¬Ä¿Ç°ÔËÐÐ×÷ÒµÊýÒѾ­´ïµ½ÉÏǧ¸ö£¬¼«´óµØÍƶ¯Á˼ÆËãµÄʵʱ»¯£¬ÌáÉýÁËÊý¾ÝµÄ¼ÛÖµ¡£Ëæ×ÅÓ¦ÓùæÄ£µÄÀ©´ó£¬ÎÒÃÇÒ²Óöµ½ÁËÔ½À´Ô½¶àµÄÌôÕ½ºÍÎÊÌ⣬°üÀ¨Îȶ¨ÐÔ¡¢Ò×ÓÃÐÔ¡¢ÔËά֧³Ö·½ÃæµÈµÈ¡£


±¾´Î·ÖÏíÖ÷Òª´ÓÈçϼ¸¸ö·½Ãæ½øÐÐÁ˽éÉÜ£¬°üÀ¨ Flink SQL *̨»¯µÄ˼¿¼Óëʵ¼ù¡¢Óöµ½µÄÒµÎñÎȶ¨ÐÔÎÊÌâÒÔ¼°½â¾ö˼·¡¢ÒÔ¼°ÎÒÃÇÔÚÌáÉýÎÊÌâÅŲéºÍÒµÎñÖ§³ÖЧÂʵȷ½Ãæ×öµÄ¹¤×÷¡£


?


°®ÆæÒÕʵʱ´óÊý¾ÝÉú̬ÌåϵµÄÑݽø


Ҷ쿳¿ | °®ÆæÒÕ¼¼Êõ¾­Àí£¬ÊµÊ±´óÊý¾ÝÏà¹ØÒµÎñ¸ºÔðÈË


?


*ÄêÀ´£¬Ëæ×ÅÐÅÏ¢Á÷ÍƼö¡¢ÔÚÏßЧ¹û¹ã¸æ¡¢ÊµÊ±±¨±íºÍʵʱÔËÓªµÈÐÂÒµÎñ³¡¾°µÄ³öÏÖ£¬ÊµÊ±´óÊý¾Ý³ÉÁË´óÊý¾ÝÁìÓò×îÖØÒªµÄ·¢Õ¹·½ÏòÖ®Ò»¡£


±¾´Î·ÖÏí½éÉÜÁË°®ÆæÒÕ´óÊý¾ÝÍŶÓÔÚ»ùÓÚ Flink µÄʵʱÊý¾ÝÉú²ú·Ö·¢¡¢ÊµÊ±Êý²Ö½¨Éè¡¢Á÷Êý¾Ý·þÎñ¡¢Á÷ÅúÒ»ÌåµÈÁìÓòµÄʵ¼ùºÍÑݽø¹ý³Ì£¬ÒÔ¼°Ïà¹ØµÄһЩÌåϵ»¯Ë¼¿¼¡£


?


Flink ÔÚÂìÒÏËÑË÷ǧ¼¶ÒµÎñ³¡¾°ÖеÄÓ¦ÓÃʵ¼ù


ÀîÑÒ |?ÂìÒϼ¯ÍÅËÑË÷Êý¾Ý¼¼ÊõÍŶӸ߼¶¼¼Êõר¼Ò


?


ÔÚÂìÒϼ¯ÍÅÎÒÃÇ·þÎñ×ÅÖ§¸¶¡¢Êý½ð¡¢±£ÏÕÒÔ¼°¹ã¸æµÈ¶àÔª»¯ËÑË÷³¡¾°£¬ÎªÂú×㲻ͬ³¡¾°ÔÚÊý¾ÝÁ¿¡¢¸´ÔÓ¶ÈÒÔ¼°ÑÓ³ÙÐÔµÈÖ¸±êÉϲîÒ컯ÐèÇó£¬ÎÒÃÇÒÔ Flink ΪºËÐĹ¹½¨ÁËÒ»Ì×ËÑË÷Êý¾ÝÔöÈ«Á¿Ò»Ì廯´¦Àí*̨¡£±¾´Î·ÖÏíÖ÷Òª½éÉÜ*̨½¨ÉèµÄÓ¦ÓÃʵ¼ùÒÔ¼°¹Ø¼ü¼¼Êõµã£¬¾ßÌåÈçÏ£º


    *̨±³¾°Óë¼¼ÊõÌôÕ½

    Ö§³ÖÖмä̬¹²ÏíµÄÔöÈ«Á¿Ò»Ì廯¼Ü¹¹

    È«Á¿¼ÆËã²Ã¼ô¼¼Êõ

    ¶àÒµÎñ×ÊÔ´¹²ÏíʵÏÖ

    ¶¯Ì¬³¤¶È´°¿ÚËã×Ó

    ´ó±ÈÀýÀ©É¢³¡¾°Ó¦¶Ô


×Ö½ÚÌø¶¯»ùÓÚ Flink µÄ MQ-Hive?ʵʱÊý¾Ý¼¯³É


À | ×Ö½ÚÌø¶¯Êý¾Ý*̨´óÊý¾Ý¸ß¼¶¹¤³Ìʦ


?


    Êý¾Ý¼¯³ÉµÄÌôÕ½

    ÏÖÓнâ¾ö·½°¸¼°Í´µã

    »ùÓÚ Flink µÄ MQ-Hive ½â¾ö·½°¸

    δÀ´Õ¹Íû


?


Flink ʵʱ¼ÆËãÔÚСºìÊ鼸¸ö³¡¾°µÄÓ¦ÓÃ


èïÑÞÃ÷ | СºìÊéʵʱÊý¾Ý*̨¹¤³Ìʦ


?


·ÖÏíСºìÊéÔÚÍƼöËã·¨¡¢ÊµÊ±Êý²Ö¡¢·ç¿Ø¡¢Êý¾Ýͬ²½µÈ³¡¾°Óöµ½µÄÎÊÌâºÍ½â¾ö°ì·¨£¬Ôڴ˹ý³ÌÖÐÎÒÃǵü´ú³öÒ»¸ö¿ÉÓÃµÄ SQL *̨£¬²ð½â¸Ã*̨ÊÇÈçºÎ·þÎñ¹«Ë¾ÄÚÆäËûÓû§µü´úÒµÎñµÄÒÔ¼°ºóÐøÎÒÃÇÃæÁÙµÄÌôÕ½¡£


?


±´¿ÇµÄʵʱ¼ÆËãÑݽø֮·


ÁõÁ¦ÔÆ | ±´¿ÇÕÒ·¿´óÊý¾Ý*̨ʵʱ¼ÆË㸺ÔðÈË


?


Ö÷Òª½éÉܱ´¿Çʵʱ¼ÆËã*̨µÄ¹¹½¨¡¢ÊµÊ±Êý²ÖµÄÂäµØ£¬ÒÔ¼°ÃæÏòʼþÇý¶¯³¡¾°µÄͨÓÃ*̨½¨Éè¡£±´¿Çʵʱ¼ÆËã½ô¸úÒµ½ç·¢Õ¹£¬Îª¹«Ë¾¸÷ÒµÎñÏßµÄʵʱ¼ÆËãÏà¹Ø¸÷ÖÖ³¡¾°ÌṩÁËÓÐÁ¦µÄÖ§³Ö¡£


    ʵʱ¼ÆËã*̨½¨É裺ΪÂú×㹫˾¸÷ÖÖÒµÎñ·½ÊµÊ±¼ÆËãµÄÐèÇó£¬ ÎÒÃǹ¹½¨Á˹¦ÄÜÍêÉƵÄʵʱ¼ÆËã*̨ Hermes¡£*̨֧³ÖÄ£°åÈÎÎñ¡¢³¡¾°ÈÎÎñÒÔ¼°×Ô¶¨ÒåÈÎÎñµÄ¿ª·¢£¬ÌṩÁËÍêÉƵĹÜÀíºÍ¼à¿Ø£¬±£ÕÏÁËÈÎÎñµÄÎȶ¨¡¢¸ßЧÔËÐС£

    ʵʱÊý²ÖÂäµØ£ºËæ×Åʵʱ¼ÆËã*̨¹¦ÄܵIJ»¶ÏÍêÉÆ£¬Ê¹µÃʵʱÊý²Ö½¨Éè³ÉΪÁË¿ÉÄÜ¡£ÎÒÃǹ¹½¨ÁËÍêÉƵĿª·¢¹æ·¶£¬ÌṩÁ˷ḻµÄʵʱÊý¾ÝÄ£Ðͼ°¹¹½¨ÄÜÁ¦£¬Ä¿Ç°ÒѾ­Ó¦Óù«Ë¾µÄ¸÷ÖÖʵʱָ±ê¡¢ÊµÊ±´óÆÁµÈÒµÎñ³¡¾°¡£

    ʵʱʼþ´¦Àí*̨½¨É裺ΪÁËÂú×ãÒµÎñ·½¶ÔÏßÉÏÓû§ÐÐΪµÄʵʱÏìÓ¦µÄÐèÇ󣬻ùÓÚÁ÷¼ÆËãµÄ Pandora ʼþ´¦Àí*̨ӦÔ˶øÉú¡£*̨½«Óû§ÐÐΪ±ê×¼»¯£¬ÌṩÁËʼþ¶¨ÒåºÍ¹ÜÀí¡¢¹¦ÄÜÍêÉƵĹæÔòÒýÇæ¡¢Áé»î·½±ãµÄ¶¯×÷´¥·¢µÈÄÜÁ¦£¬¼ò»¯ÁËÒµÎñ¿ª·¢Á÷³Ì£¬Âú×ãÁËÒµÎñ·½¶ÔÓû§ÐÐΪʵʱÏìÓ¦µÄÐèÇó¡£

    δÀ´·¢Õ¹·½Ïò£º±´¿ÇµÄδÀ´ÊµÊ±¼ÆËã»á½ô¸úÉçÇø·¢Õ¹³±Á÷£¬¼ÌÐø×öºÃʵʱ¼ÆËãÏà¹Ø»ù´¡ÄÜÁ¦µÄ½¨É裬ÔÚÁ÷ÅúÒ»Ì廯¡¢Ê¼þÇý¶¯µÈ·½Ïò¼ÌÐøŬÁ¦¡£


?


ÒÔÉÏΪ Flink?Forward Asia 2020 ÔÚÏß·å»áÐÐҵʵ¼ù½ÚÑ¡£¬Á˽â¸ü¶à´ó»áÏêÇé¼°´ó»áÔ¤Ô¼¿Éµã»÷¡¸ÔĶÁÔ­ÎÄ¡¹¡£12ÔÂ13ÈÕ£¬È«Çò 38+ Ò»Ïß³§ÉÌ£¬70+ ÓÅÖÊÒéÌ⣬ÎÒÃÇÔÚ Flink Forward Asia ÔÚÏß·å»áµÈÄã¡«



Flink Forward Asia 2020 ÔÞÖúÓëºÏ×÷


- ÔÞÖúÉÌ -?



- ºÏ×÷»ï°é -?



Flink ÖÐÎÄÉçÇø£¬Flink Forward Asia ¹Ù·½·¢²¼ÇþµÀ£¬ÓÉ Apache Flink PMC ÔËÓª¹ÜÀí£¬¹«ÖںŽ«³ÖÐøÊä³ö Flink ×îÐÂÉçÇø¶¯Ì¬£¬ÈëÃŽ̡̳¢Meetup ×ÊѶ¡¢Ó¦Óð¸ÀýÒÔ¼°Ô´Âë½âÎöµÈÄÚÈÝ£¬Ï£ÍûÁªºÏ¸ü¶àºÏ×÷»ï°éÍƶ¯¹úÄÚ´óÊý¾Ý¼¼Êõ·¢Õ¹¡£


??¹Ø×¢ Flink ¼¼ÊõÉçÇø£¬»ñÈ¡¸ü¶à¼¼Êõ¸É»õ???




´ÁÎÒ£¬È¥ Flink Forward Asia 2020£¡


相关推荐


友情链接: