1: 海江田三郎 ★ 2016/04/06(水) 23:20:24.65 ID:CAP_USER.net
5index
http://itpro.nikkeibp.co.jp/atcl/news/16/040601011/?top_tl1


日本航空（JAL）は2016年4月6日、4月1日に発生した重量管理システムの障害について公表した。
開発元から適用されたパッチの中に、キャッシュの排他制御を追加する設計変更があり、もともと実装されていたディスクの
排他制御との間でデッドロックが発生したことが引き金になった。

システムはルフトハンザ子会社製
　問題となった重量管理システムは、独航空大手Lufthansaの子会社である独Lufthansa Systems（LHS）製の「NetLine/Load」。
乗客の人数や座席配置、貨物や燃料の量を基に重心を計算し、貨物の最適な搭載位置を算出して指示を出す役割を担う。
JALのほか独LufthansaやカナダのAir Canadaなどが導入している。JALの場合、サーバーは東京都内のJAL拠点にあり、主要9空港からアクセスして業務に使っている。

　JALは自社開発の重量管理システムをメインフレーム上で20年程度使っていたが、2014年1月にNetLine/Loadへ切り替えた。
4〜5種類のソフトからLHSを選んだといい「重量計算にまつわる業務の多くを自動化できる点が決め手になった」（JAL）という。
　システムは、重量計算を担うアプリケーションサーバーと、計算結果を格納するデータベースサーバー、
他のシステムから乗客や貨物、燃料などの情報を受信する連携サーバー、空港職員が操作するためのWebサーバーで構成される。
アプリケーションサーバーにはキャッシュ、データベースサーバーにはディスクが付いている。デッドロックはこのキャッシュとディスクへの排他制御を巡り発生した。

キャッシュへの排他制御がパッチで追加

再起動でデッドロック解消し正常に
（続きはサイトで）
引用元: http://anago.2ch.sc/test/read.cgi/bizplus/1459952424/


51: 名刺は切らしておりまして 2016/04/07(木) 05:02:49.81 ID:++rKRDs/.net
>>1
搭乗手続きができなくなったヤツとは別件やないか

59: 名刺は切らしておりまして 2016/04/07(木) 06:06:16.19 ID:8ns2tyjQ.net
>>1
普通は運行前にテストするよな。

60: 名刺は切らしておりまして 2016/04/07(木) 06:09:01.89 ID:juHZ8jMi.net
>>59
タイミングの問題だからねぇ
テストすり抜けた可能性も高いよ

61: 名刺は切らしておりまして 2016/04/07(木) 06:57:14.32 ID:0nHKRuaW.net
>>1
まさか導入試験なしで本番運用したんか？

4: 名刺は切らしておりまして 2016/04/06(水) 23:25:56.90 ID:idLXVqq/.net
外資ベンダー「その構成はサポート外です」

5: 名刺は切らしておりまして 2016/04/06(水) 23:26:40.22 ID:3bQYVNyl.net
デッドロック (deadlock)
　
「デッドロックに乗り上げる」って表現を使う人がいるけど
意味不明だよね？

12: 名刺は切らしておりまして 2016/04/06(水) 23:46:26.99 ID:idLXVqq/.net
>>5
deadlockedに「（交渉が）暗礁に乗り上げる」という訳はあるが、まあそいつはrockと勘違いしてるなw

6: 名刺は切らしておりまして 2016/04/06(水) 23:27:17.43 ID:XTraFnbr.net
rockだと思ってるんだろうな

13: 名刺は切らしておりまして 2016/04/06(水) 23:49:21.17 ID:p5PqNqZH.net
先日のANAの障害原因報告よりも納得感はある。

16: 名刺は切らしておりまして 2016/04/06(水) 23:54:21.71 ID:WbjCvfCB.net
プログラム書けない人間が品質判定（笑）やってんだからな

18: 名刺は切らしておりまして 2016/04/06(水) 23:58:07.51 ID:fqcRO9rZ.net
デッドロックしたらトランザクションロールバックするだろ
普通なら

19: 名刺は切らしておりまして 2016/04/07(木) 00:01:36.84 ID:zIASdaFL.net
まさかだけど排他制御をＤＢＭＳに任せないでユーザープログラムでやってたの？
ＤＢＭＳが出来る前の時代のプログラムをやったことあるけど超難しいぞ。

20: 名刺は切らしておりまして 2016/04/07(木) 00:03:22.48 ID:6t1oSoU7.net
こうやってベンダの名前を出せば批判が和らぐって思ってる会社ってどうなん。
内製できるスキルが無いから○投げなんでしょ。

22: 名刺は切らしておりまして 2016/04/07(木) 00:08:39.39 ID:UngYGiK3.net
>>20
先週はシスコだったっけ？
週替わりでスケープゴート用意してんのな

24: 名刺は切らしておりまして 2016/04/07(木) 00:19:13.25 ID:npTeXIWI.net
これって、同じスターアライアンスのルフトハンザと全日空が結託した
日航つぶしのための謀略？

33: 名刺は切らしておりまして 2016/04/07(木) 00:36:41.82 ID:QCCuOguJ.net
>>24

俺はプログラミングについては全く解らんので、そっちばっかり思ったわw

27: 名刺は切らしておりまして 2016/04/07(木) 00:22:09.74 ID:Ah0i9C6z.net
ルフトハンザ、スタアラだよね?
この手のシステムの購入とかは関係ないんだろうけど・・・

28: 名刺は切らしておりまして 2016/04/07(木) 00:23:46.79 ID:t4gqu05B.net
使い古しされた障害だけど
環境変わると発生しちゃうのよね

31: 名刺は切らしておりまして 2016/04/07(木) 00:35:46.36 ID:1zC/V3kg.net
パッチ適用してすぐデッドロック起こしてるような有様なのに
開発元はテストすらろくにしてないってことか？
ルフトハンザでは起きてないのか？

36: 名刺は切らしておりまして 2016/04/07(木) 00:42:11.20 ID:Z9eIJrC8.net
>>31
分散システムとかで、修正したシステムのあずかり知らぬところで
別のトランザクション走ってるケースもある。
今回はキャッシュとDBの間でのデッドロックみたいだから単純なバグだろう。

32: 名刺は切らしておりまして 2016/04/07(木) 00:36:25.62 ID:7jTrP3Cs.net
アプリケーションが参照してるキャッシュって具体的に何を指してるんだ？

サーブレットかじった程度の人間からすると、
DBに値を直接入れる前（SQL発効前）にJavaかなにかでわざわざ受付ファイルのようなものを作ってたという風にしか読めないんだが…

今時そんなシステムあるのか？

35: 名刺は切らしておりまして 2016/04/07(木) 00:41:20.61 ID:1nhM9uCO.net
公金で助けてもらったくせに脱税している会社なんか今後一切使わないから。

パナマ文章でばっちりばれてますから。

37: 名刺は切らしておりまして 2016/04/07(木) 00:43:26.48 ID:npi7BnBt.net
余所の責任にしようとしてるが、
要するにテスト系を用意してないってことだろ
つまり金をケチったから本番系で障害が起きたわけだ

42: 名刺は切らしておりまして 2016/04/07(木) 01:09:11.70 ID:u10wOPh1.net
つまりネトゲでいうアップデート失敗で
ログインできない事になったってことね。

43: 名刺は切らしておりまして 2016/04/07(木) 01:16:23.22 ID:yPyNwXJp.net
でもパナマに送る金はごっちゃりあります

44: 名刺は切らしておりまして 2016/04/07(木) 01:42:10.51 ID:fZj9GlE+o
「アプリケーションサーバーにはキャッシュ、データベースサーバーにはディスクが付いている。｝
記事の説明内容と日本航空の資料がちんぷんかんぷん。

おそらく、ディスク＝テーブル、キャッシュ＝テーブルデータをアプリケーションサーバーのメモリ上に展開。

45: 名刺は切らしておりまして 2016/04/07(木) 02:08:58.36 ID:HNZCy7+p.net
nowaitにしとけよ

48: 名刺は切らしておりまして 2016/04/07(木) 02:43:28.12 ID:v4LSc7mp.net
単に排他処理が難しいってのもあるんだろうけど、
それを調べる時間（ソースを解析する）も無いってのが本当の原因だろう。

実際の業務なら、１００万行のソースのうち５万行くらい読んだ
だけでソースの修正始める。
１００万行全部よく時間は与えられない。

なので残りの９５万行に重要なコードがあった場合、
やばいなーといつも思いながら実装してる。

52: 名刺は切らしておりまして 2016/04/07(木) 05:04:29.96 ID:/PqdB4qU.net
こないだのANA案件とはまた別か。

56: 名刺は切らしておりまして 2016/04/07(木) 05:35:46.75 ID:juHZ8jMi.net
>>53
待機系に切り替えたけど、待機系の処理能力が足りなかったんだってさ。

55: 名刺は切らしておりまして 2016/04/07(木) 05:34:25.03 ID:juHZ8jMi.net
ロック取るような修正が後から加えられたって、すげー嫌なパターン。
キャッシュにアクセスしてる処理全て見直しじゃん。

58: 名刺は切らしておりまして 2016/04/07(木) 05:43:27.54 ID:i1bCZWVZ.net
日本の会社とか甘々だから損害賠償請求しないだろうね。そして更にナメられる。

65: 名刺は切らしておりまして 2016/04/07(木) 07:49:00.13 ID:aKBfM1FH.net
テスト環境へ導入して様子を診ずに、いきなり本番環境へパッチ当てたのかな？
ケチなクライアントってテスト環境の構築費用を出し渋るし、あながちありえ
なくもないか。

68: 名刺は切らしておりまして 2016/04/07(木) 08:15:36.72 ID:DIMURwMZ.net
ルフトハンザ的には使用者側で排他制御入れてるとか知らんし関係ねえってことか

69: 名刺は切らしておりまして 2016/04/07(木) 08:33:22.65 ID:CI1L3NnI.net
・パッチの説明文でキャッシュのことについては触れられていたのか
・開発機で稼働実績積んでないのか
・フォールバック可能か検証してあったのか
このあたりの情報がないとどっちが悪いか判定できん

82: 名刺は切らしておりまして 2016/04/07(木) 11:21:01.32 ID:q1DZkj//.net
>>69
> ・パッチの説明文でキャッシュのことについては触れられていたのか
JALは説明なかったと言っている。

83: 名刺は切らしておりまして 2016/04/07(木) 11:29:50.53 ID:oXSuj9Ee.net
>>82
仮に説明があったとしても、「２重更新で整合性が崩れた事例があり、
排他制御をかける事で、回避できます（ｷﾘｯ」とかされた日には、
それ以上は、突っ込まないだろう。

デッドロック大丈夫？って聞いても、「確認しました」と言われたら、
信じるしかない。

72: 名刺は切らしておりまして 2016/04/07(木) 09:40:22.28 ID:WAPSGmZg.net
そもそもなんで排他追加したんだ？
追加しないとヤバいケースが見つかったから追加したのなら、
外してokって事にもならんと思うが

74: 名刺は切らしておりまして 2016/04/07(木) 09:51:54.82 ID:wQlr5Or7.net
こういうのって検証時には何故か起きないんだよね〜

77: 名刺は切らしておりまして 2016/04/07(木) 10:09:17.80 ID:pPDbZhrz.net
この手のシステムを海外の程度の低い会社に頼むなよｗｗ

78: 名刺は切らしておりまして 2016/04/07(木) 10:10:01.40 ID:pPDbZhrz.net
あと、オープン系はメインフレームの代替は務まらない。

全くもってな。もう結論でてるネタなのに2014年に切り替えって、切り替えたエンジニアの程度が知れるｗ

80: 名刺は切らしておりまして 2016/04/07(木) 10:31:39.91 ID:YiPRRit4.net
なんでスターアライアンスの子会社のシステム使ってるの？

87: 名刺は切らしておりまして 2016/04/07(木) 11:54:05.63 ID:ZET5FasM.net
>システムはルフトハンザ子会社製

今頃スターアライアンスから特別ボーナスが。
　

スポンサード リンク