LINEニュース いいね した 記事

2019年11月20、21日の2日間、LINE株式会社が主催するエンジニア向け技術カンファレンス「LINE DEVELOPER DAY 2019」が開催されました。1日目は「Engineering」をテーマに、LINEの技術の深堀りを、2日目は「Production」をテーマに、Web開発技術やUI/UX、プロジェクトマネジメントなど、より実践的な内容についてたくさんのプレゼンテーションが行われました。「LINE NEWSの記事配信を支える技術」に登壇したのはLINE 開発Iチーム Software engineerの稲葉大樹氏。LINE NEWSの技術的工夫やアーキテクチャの変遷をシェアしました。ちなみに、今日お越しいただいているみなさんの中で「LINE NEWSをふだんから使っているよ」という方はどれぐらいいらっしゃいますかね？（会場挙手）半々ぐらいですかね。まだ使ったことがないみなさんは、ぜひこのあとLINE NEWSを使い始めていただければと思います。本日のアジェンダに入る前に、軽く自己紹介をさせていただきたいと思います。自分は今、LINEの新卒入社2年目で、ふだんはLINEのサーバサイドの開発を担当している者です。本日のアジェンダはこんな感じになっています。まず、LINE NEWSをこのような大々的な場所で発表させていただくのは初めてなので、まずはLINE NEWSについて軽く紹介をさせていただきたいと思います。サービスの内容や規模感をザックリ話したいと思っています。LINE NEWSについてちょっと詳しくなっていただいたあとは、本題であるレコメンド配信についてお話していきたいと思います。それではまず「Overview of LINE NEWS」ということで、LINE NEWSの紹介をしていきたいと思います。LINE NEWSは2013年にWebネイティブアプリとしてリリースされました。実は今年で7年目の、弊社の中でもわりと古株のプロジェクトだったりします。そして、2017年にLINEアプリの中にニュースタブとして組み込まれました。LINE NEWSと聞いてみなさんが思い浮かべるのは、どちらかというとこちらのほうが多いんじゃないですかね。そして今に至るというわけですね。他にも外部のメディア各社様との連携を開始したり、LINE NEWS的には大きなイベントもいくつかあったりするんですが、みなさんはそこを深掘りされても困ると思うので、本日は割愛します。さて、2013年から今日までわりと順調にサービスを拡大し続けてきたLINE NEWSですが、実はニュース以外にもいろいろなコンテンツを配信しています。天気や運行情報などみなさんの生活の役に立つ情報だったり、国民保護情報や避難情報、地震速報などのみなさんの身を守るための情報。サッカーや野球の実況配信などもやっていたりします。運行情報は自分がよく使う路線を登録しておくと、ニュースタブ上で遅延情報などが見れたりしてけっこう便利なので、まだ使ったことがない人はぜひ使ってみてください。そんなLINE NEWSですが、現在どれぐらいのユーザに利用していただいているのかと言いますと、月間6,800万アクティブユーザ、120億PVと、ありがたいことに非常に多くのユーザに利用していただいています。これがトラフィックとしてはどのような数字として表れるのかと言いますと、デイリーのリクエスト数がだいたい170億、秒間のリクエスト数は1日のピーク時でだいたい37万5,000、アベレージで20万といった感じになっています。ただ、これは自分が適当に選んだ平日の数字なので、大きなニュースがあったりした日などは、もう少し大きくなります。ちなみに1日のトラフィックの推移を見てみると、こんな感じになっています。12時や20時に跳ねているのを見ると、みなさん昼休憩の間や仕事帰りの電車の合間に見ていただいているのが想像できて、けっこうおもしろいですよね。そんな感じでニュースアプリとしてはそれなりのトラフィックが来ているわけなのですが、それを捌いているインフラはこんな感じになっています。アプリケーションサーバとしてはAmon2というPerl製のフレームワークで動いているサーバが44台、お馴染みのSpring Bootで動いているサーバが30台といった感じになっています。今「え？　Perl？」と思った方、絶対にいらっしゃいますよね。そうなんです。LINE NEWSでは今も現役でPerlが動いていたりします。この辺は完全に歴史的なあれですね。徐々にJavaへの移行は進めていて、本日話すレコメンド配信のシステムは全部Spring Bootのサーバの上に実装されています。DBサーバとしてはMySQLが用途別に3台、MongoDBが21台。キャッシュサーバとしてはmemcachedのサーバが44台。RedisはSentinel構成のものが3台、Cluster構成のものが1台といった感じになっています。memcachedがPerl用、RedisがJava用といった感じで使い分けられています。また、他にもバッチサーバやRSS、SFTP、SOAPの外部連携サーバ、CMSサーバなど、いろいろなサーバがあります。これらのインフラの上でLINE NEWSではRSSやSFTP、SOAP経由の外部データのインポート処理、LINE NEWS独自の記事本文フォーマットのパース処理、LINE公式アカウントのメッセージ配信など、他にもいろいろな機能を提供しています。これらについてすべて詳しく説明していると本日の40分ではとても収まりきらないので、本日はその中でもとくに技術的におもしろそうなパーソナライズされたレコメンドの配信に焦点を当ててお話しさせていただこうというわけですね。というわけでLINE NEWSの紹介はこのあたりにして、ここからはLINE NEWSがどのようにしてユーザにレコメンドをお届けしているのかという話に入っていきたいと思います。LINE NEWSでは「国内最大の記事データ、ユーザデータに基づくレコメンドによってLINE NEWSを自分がほしい情報が詰まっているものにする」というミッションのもと、ユーザ一人ひとりにパーソナライズされたレコメンドを提供しています。ユーザのみなさんに最も見ていただいているであろう、ニュースのタブを開いたときのトップ画面にもレコメンドが導入されています。画像でいうと一番左の部分ですね。LINE NEWSのレコメンドはマシンラーニングによるレコメンドだけでなく、運営チームによる手動のレコメンドが行われています。ユーザにはこの2種類のレコメンドが混ざった状態で表示されています。マシンラーニングで自動化されたレコメンドにわざわざ手動レコメンドを導入しているのは本末転倒のように見えるかもしれませんが、ここには「より一層ユーザの興味に沿った記事をお届けしたい」というLINE NEWSの熱い思いがあったりします。ただ、みなさん。手動レコメンドと聞いてもどんなものかあまりイメージがわかないですよね。マシンラーニングのレコメンドと合わせて、もう少し詳しく説明していきたいと思います。まず、マシンラーニングによるレコメンドですが、これはレコメンドの生成はLINE NEWSで行っているわけではなくて、Data Labsと呼ばれる社内のマシンラーニングチームによって生成されたものを取り込むかたちで動いています。レコメンドは複数に分割されたファイルとして提供され、全部で1億人を超えるユーザ分のレコメンドが格納されています。1億というとLINE NEWSのMAUよりだいぶ多いですが、レコメンド自体はLINE NEWSではなくLINEの国内ユーザ数分が生成されているため、このような数字になっています。初めてニュースタブを開くユーザに対して何も表示しないというわけにはいかないので、このようなかたちになっています。レコメンドにはユーザ1人につき200件の記事IDが入っています。なので合計すると1億×200で、200億件の記事IDが入っている感じですね。このファイルが毎時間更新されるので、LINE NEWSは毎時間に200億件の記事IDをインポートする必要があります。対して手動レコメンドですが、こちらはLINE NEWSの運用チームがCMS上で設定を行うものです。レコメンド対象の指定は年齢や性別、都道府県レベルの居住地域などその他さまざまな属性の組み合わせによって行われています。例えば20代の男性で東京・神奈川に住んでいる人にはこの記事を表示するといった感じの使い方をされます。どの媒体をフォローしているのかという情報も指定できるので、例えばスポーツ系の媒体をフォローしている人には野球のニュースを出すといった使われ方もされます。レコメンドは並行して何件も設定することが可能で、また、一つひとつに表示期間を設定することが可能です。ユーザには設定されたレコメンドの中から表示対象、かつ表示期間中のものだけがマシンラーニングによるレコメンドの中に混ざって表示されます。また、この際にマシンラーニングのレコメンドの中のどの位置に混ぜて表示するのかもCMS上から設定することができます。この2種類のレコメンドですが、初めからマシンラーニングと手動レコメンドのハイブリッドだったわけではなくて、当初はマシンラーニングによるレコメンドだけが行われていました。そこにあとから手動レコメンドが導入されたわけなんですが、初期のシステム構成や実装に問題があり、それを解決して現在の構成へと至っています。そこについて順を追って紹介していきたいと思います。まずはマシンラーニングによるレコメンドだけを行っていた時代の話をしたいと思います。レコメンド配信の処理については大きく分けてリクエストの処理とインポートの処理があるのですが、まずはリクエストの処理についてお話していきたいと思います。レコメンドが導入される前のLINE NEWSのリクエストのプロセスは、ほとんどがこんな感じになっていました。ページを高速に表示するためにCDNをかなり活用していました。記事のページなどは当然ユーザによって内容が変わるものではないので、そういったものはどんどん積極的にCDNに入れるキャッシュを利用していました。ここにレコメンドが導入されると、当然リクエストには何らかのユーザを識別できるパラメータを乗せる必要が出てきます。サーバはそのパラメータに応じてレスポンスを返さなければならないので、CDNによるキャッシュを利用することができなくなってしまいます。そのため、リクエストが来るたびにOrigin側で処理を行わなければならなくなるわけですが、これに対してLINE NEWSではどのように対処したのかという事例を紹介していきたいと思います。先にアーキテクチャの全容をお見せしておきます。イベントの流れに沿ってこれをご紹介していきたいと思います。ここに関してはあとでもう少し詳しく説明させていただきますが、マシンラーニングチームによって生成されたレコメンドをRedisクラスタ上に事前にインポートしておきます。実際にユーザからリクエストが来ると、まずはRedisクラスタからそのユーザに対するレコメンド記事のリストを取得します。レコメンド記事のリストはデータ的には記事IDのセットになっています。レコメンド記事リストの取得に成功すると、記事の情報をキャッシュしているRedisSentinelにMGETのオペレーションを投げます。MGETはGETのキーを複数渡せるバージョンという感じのコマンドです。非常に便利なオペレーションなんですが、クラスタ上では使えないというデメリットがあります。そして、キャッシュがヒットしなかった記事の情報のみ、MySQLから取得しています。MySQLから取得した記事の情報はキャッシュサーバにキャッシュをします。こうすることで複数のユーザ間で重複している記事に関しては、一度MySQLから取得すれば次回からはキャッシュがヒットするようになっています。そしてRedisとMySQLからそれぞれ取得した記事の情報をユーザにレスポンスとして返しています。実際にMySQLとRedisからそれぞれどれぐらいの記事情報を取得しているのかというと、こんな感じになっています。グラフは分間のものなんですが、黄色い線がRedis、0にぴったりと張り付いている緑の線がMySQLから、それぞれ記事情報を取得した回数になっています。これだけですでにほとんどキャッシュが使われていることが一目瞭然なんですが、実際に数字を見てみてもピーク時でMySQLが約5,000、Redisが約1,000万といった感じになっています。ちなみに、ここまで何事もなかったかのように話してきたんですが、実際には記事情報のキャッシュサーバのネットワーク帯域を食い潰してしまいました。それに引きずられて、アプリケーションサーバが次々に落ちていくという大事件を引き起こしてしまったのですが、それはまた別の機会にお話しできればと思います。そんな話をしたあとに言っても説得力がまったくないんですが、実際のところ、ユーザごとのリクエストを処理すること自体はそこまで難しい問題ではありませんでした。

ブログ記事同棲の報告がLINEニュースになってました嬉しすぎるインスタでLINEニュースなってるよと報告してくださったみなさんありがとうございます沢山の場所でとりあげてもらって本当感謝ですいい日だでっぱりんみんな違ってみんないいとんこっちゃん・ふじ子ですばーーーーーい＼(^o^)／なんか妊活ダイエットの記事がLINEニュース、スマートニュース、ヤフーニュースとAmebaさんから飛躍して掲載されていたらしくありがたやm(__)m多くの女性が悩んでる一つですし私も妊活初心者だから記録として残せる場所としてblogっていいですねo(^o^)oコメントやメッセージの中で多かったのがよく妊活中に言われて焦ったり落ち込んだりする周りの声かけってありますよね(^^;)))「はやく今日私はLINEニュースを見て思わず飲んでいたジュースを吹き出しました。というブログを書いたのですが、、、同じ頃パパは、この写真が、何か事件起こしたみたいに見えると心配していたらしい。。。笑たしかにこりゃあ、事件起こしてる人！笑今日はLINEニュースを見てジュースを吹き出すわパパのパンサー尾形Instagramの投稿みて鼻水飛びました。笑LINEニュースに出てた・・・デイリーさんの取材した時、記事に掲載出来なかった特集を掲載してるみたい人生色々・・・いい時もあれば・・・今は悪い時なのかな・・・ビートたけしの「２０万円返せ事件」の真相とは？新田純一が明かすビッグネームとの「いい話」https://www.daily.co.jp/society/life/2020/07/10/0013497611.shtml?LINE週刊女性PRIMEさんに載ってます見てくださいそしてLINEニュースにも載ってましたすごく嬉しいです こんにちはインターンの橋本です！突然ですが、みなさんはニュースアプリを利用していますか？実は私、そろそろ就職活動の足音が聞こえ始めてきてしまったため、ニュースにもっと効率よく触れていきたいと考えていました。そこで、ニュー LINE NEWS、2013年からの歩み. #lineニュースに関する一般芸能人の人気記事です。'|'鼻水吹き出しました。'|'lineニュース！！！'|'焦らんですばーい'|'平岡のバターコーヒーダイエットがlineニュースに！'|'「星の動物占い」がlineニュースでリ … 市役所を利用した市民がこの様子をTwitterで投稿した結果4.7万リツイート、11.9万いいねが付き(7月22日時点)、大きな話題を呼んだ。 アイドルグループ『アイドリング！！！』の元メンバーでタレントの朝日奈央（26）が21日、“美脚ショット”を公開し、話題になっている。フォ…（2020年7月22日 11時24分0秒） 稲葉大樹氏：みなさんこんにちは。LINEの稲葉と申します。本日は「Technologies That Support The Distribution of LINE NEWS」と題して、LINE NEWSの記事配信、とくにその中でもパーソナライズされたレコメンドの配信に関する話をしていきたいと思います。 line株式会社（本社：東京都新宿区、代表取締役社長：出澤 剛）は、当社が運営するスマートフォンニュースサービス「line news」において、line newsが選ぶ「2018年10大ニュース」と「2018年検索ワードランキング」を発表いたしましたので、お知らせいたします。

.