上原 哲太郎/Tetsu. Uehara @tetsutalow

@asakawaya @atakiguchi とにかく何十万とページがあるサイトを静的に取得する作業は意外と大変で特に網羅性が求められるときには結局「本当にこれで全ページ取れたか」「逆に無駄に同一ページや（カレンダーのような）自動生成される無意味なページを取っていないか」の確認で死ぬのでCMSにそんな機能が欲しくなるのです。

posted at 04:39:01

@asakawaya @atakiguchi いやーでかいサイトのスクレイピングって終わりません。CMSが無限にURL自動生成してリンク先が収束しない例がアチコチでて例外対応で死ぬ。あとJavaScript絡みのリンクはwgetで取得できない。そこでヘッドレスブラウザとか使うんですが結局ホントにリンク追えてるか確認しながらやると膨大な作業で…

posted at 04:25:15

”ユーザーの皆様のコンテンツへのアクセスを確保するため、リダイレクトの追加対応を早急に進めてまいります”リダイレクト性能が問題なら折角CloudFlare使ってるのでBulk Redirect使えばいいよと誰か教えてあげて / “IPAウェブサイトリニューアルに係るお詫びと対応につい…” https://htn.to/32RtnAyr7y

posted at 04:16:28

”ユーザーの皆様のコンテンツへのアクセスを確保するため、リダイレクトの追加対応を早急に進めてまいります。”　性能のことを言うならせっかくCloudFlare使ってるのでBulk Redirect機能ってのがあるよと誰か教えてあげて / “IPAウェブサイトリニューアルに係るお詫びと対…” https://htn.to/32RtnAyr7y

posted at 04:14:46

@asakawaya 私が過去に見たのはCMSで各URLに転送設定してる例で無駄に毎回CMSが2回起きるので重いってやつですが、他に.htaccessにズラズラ並べてクソ重くした例が報告されてます…
https://twitter.com/pmakino/status/1642930062768115713…
いずれにせよ今回はCDN使ってるのでコンテンツサーバのリダイレクト性能はあまり言い訳にならないです…

posted at 04:08:30

2023年04月04日(火)10 tweetssource

@atakiguchi 良く見たらCloudFlaire使ってるので、これちゃんと使いこなせる業者ならURL書き換えできますね。
なのでRedirectの性能は言い訳に出来ませんね。移行作業と運用の業者が違うのかも知れませんけど、連携したらちゃんと出来る話なのになぁ。

posted at 14:29:24

@atakiguchi って見てみたらIPAのページクラウドフレアのCDNに載ってますね
これだと普通はよくアクセスされるページはキャッシュされるから単に性能の問題じゃないですね

posted at 14:18:00

@atakiguchi 今回はあたらないかもしれませんがもっと辛いのは「旧サイトのURLを全部維持せよ」ってやつで、これだとそれこそURLにプリフィックスつけて旧URLは旧コンテンツ維持したサーバを持って動かし続けることになります。旧コンテンツが動的CMSだとまさに地獄で、維持費が倍になりかねないという（経験談）

posted at 13:31:13

@atakiguchi これだとRedirectでCMSが2回動く。Redirectするだけとはいえどうしても性能ペナルティがある。それがアクセス数多いページなら気にすると思います。未確認ですがRedirectをHTTP Status 301ですぐ飛ばさずに新URLへの案内ページ生成してから転送しろとか言われるともっと効くと思います…

posted at 13:25:21

@atakiguchi そういう表をつかった高速なURL書き換えエンジンがついているCMSならまぁそうなんでしょうけど、ありがちな（そして安易な）実装は
①旧URLで受けるべきページはCMSの固定URL機能を使って作る
②そのページに、対応する新ページへのRedirectを設定する
これでやっちゃう…

posted at 13:11:13

@atakiguchi URLの数によってパフォーマンスが変わるというのは多分正確じゃなくて、旧コンテンツのまま維持するページを新しいCMSで生成する際にちょっとトリッキーなことをやってるので、そういうページをあまり増やすと全体のCMSのパフォーマンスが落ちるのではないかというのがあの記事読んだときの私の想像。

posted at 13:01:02

@atakiguchi 以前のCMSが静的コンテンツ簡単に吐いてくれるならそれを吐いてファイルシステムに並べてそういう実装にするんですが、そうじゃなかった場合そう簡単でもないですよ。昔Ploneからの引越という地獄のようなことをやったことがあって、CMSは代えるものではなく一緒に心中するものだと悟りました…

posted at 12:56:53

思ったよりちゃんと対応されてたスイマセン。でも結局は落札後の協議の結果絞らざるを得なかったらしい。どのページを転送対象にするか事前に入札要件に入れてリストを提供するべきなのだけど実際やるのは大変よね。 / “IPAのサイトリニューアルで「404エラー」多発、一体…” https://htn.to/47cn6UAGUy

posted at 11:48:26

@h_okumura @tss_ontap やってみると対応表を作るだけでも大変な工数なんですよね
CMSのURLが自動生成でままならない場合だと本当に手作業になります…
その辺の見積もりが全く甘くて突き抜けたのが滋賀県の例
「1000万もかけたのに」だそうですが内情聞くと全く割に合わない作業量でした
https://digital.asahi.com/articles/ASM5Z539GM5ZPTJB00L.html…

posted at 11:27:51

@tss_ontap 転送設定にかかるコストが大きすぎることがわかって妥協案としてのこういう手に走ったんじゃないですかねえ

実際こんな大きな規模のサイトのURL転送はかなりの工数なので簡単じゃないのですが、予算どりの段階でこの辺の苦労の経験がない人ばかりだと誰も気づいてないことは少なくないです

posted at 04:04:00

2023年04月03日(月)8 tweetssource

@ensankai ジャンボフレームもちょっと考えたんですが、L2のパケットがそんな広域に一気に影響するかなぁ？と思ったので、L3じゃないかと思ったのです。

posted at 22:09:52

特定のバグを一斉に踏んじゃったらしいけど、非常に長いパケットってなに？フラグメントされてたやつの処理がおかしかったとかそんなプリミティブなところのバグなんて今さらある？！ / “NTT東西の「フレッツ光」大規模障害、原因は特定のサーバから届いた“特殊なパケット”…” https://htn.to/xeVdxo3Z54

posted at 20:22:46

@sugitk @zyake 滋賀県Webリニューアルでトラブった後にこんな意見交換会が行われたのですが
https://note.com/hazuijunpei/n/n8557e0b4ed65…
この場で私も行きましたがオフレコではかなり厳しい業者側のホンネの意見が飛び交ってました。その中の一つが「蓋を開けたらこの移行は無理って案件が公共案件にはあまりにも多い」です。

posted at 18:07:50

@sugitk @zyake 実際、Web事業者に事前にURL転送の規模が正確に提示されず、見積もりができないまま札入れることって少なくないようです。そして蓋をあけるととても作業量的に折り合わないことがある。となるとどこかで妥協が入るわけですが、仕様書上の説明ができる範囲で最小限の対応になりがちです。

posted at 18:05:04

@sugitk @zyake 十分協議すること、といわれても入札後なので工数足りません予算足りませんでできないってやつなんじゃないかと思われます

posted at 17:58:58

…いや他人事ではなく現在進行形で私もトラブルを抱えており。
私が関係する某税金で運営されてる団体のWebページのリニューアルが難航中…いやでも仕様書にないことはやらないのが普通なんでちゃんと書いておかないとあかんのですが、と言っても後の祭り…私が事前に仕様書チェック出来てれば😭…

posted at 17:57:25

役所だと委託先を入札で決める必要があるので以前の経緯を知らない業者が安く札を入れて受注するとトラブルが多い。
役所「えっ以前のページから転送とか当然されると思ってた」
業者「仕様書にないので無理デス」
役所「前はできたよ」
業者「前回は既存業者が落札したから只でやってたんですよ多分」

posted at 17:51:40

役所のWebリニューアルあるある（IPAは独法だけど）。Webを担当する広報部門がITに弱くて旧URLからの転送とかを要件に書かずに単に旧コンテンツのデザイン刷新として発注しちゃう。滋賀県も2019年にやらかして議会ネタに。 / “情報処理推進機構（IPA）のサイトが刷新される…” https://htn.to/R3vEhn6AyQ

posted at 17:34:56

2023年03月31日(金)6 tweetssource

むっちゃ悲しい…仕事帰りに気軽に寄れて便利だったのに！ https://twitter.com/biccamerakyoto/status/1641634064229888001…

posted at 18:02:52

年度末にでかいの来たなぁ。雰囲気的にはマルウェアっぽいが。こういうのって初報の数字530万が一人歩きするけどまだ昨日の話なので後で数字は変わるんじゃないかなとは思う。 / “NTTドコモ、個人情報530万件流出か　業務委託先から - 日本経済新聞” https://htn.to/9ZtDUahriP

posted at 17:45:36

@matusita @tss_0101 この程度が自動化できずにDXいうなって感じ

posted at 17:28:44

@NakataMaho 松下BeもStardent TITAN3000も使ってた私が通ります…

posted at 15:18:20

これが仮に窓口職員のやらかしなら、窓口が非正規だろうが派遣だろうがまず市が謝ります。記者会見で「派遣元をよく指導します」とか言ったら責任逃れかと言われるはず。それがシステムになった途端に「再発防止をさせます」になる。それで世間も納得しちゃう。これ根が深い話だと思います。 https://twitter.com/Yo_bun_izonsho/status/1641603162057613312…

posted at 10:26:53

@Yo_bun_izonsho 今回に関してはLG-WAN ASPなので個別の検収はしません。性能保証はJ-LISがするべきなのですがまぁ能力不足ですね…それではあかんやろという話をする機会が今度ありそうなので、しますが。
どちらにせよ自治体に当事者意識が必要で、横浜は当事者能力が持てる数少ない自治体なのにちょっと残念でした。

posted at 10:16:22

2023年03月30日(木)21 tweetssource

@a_saitoh Cardbusなら中年でPCMCIAだけなら老人とかですか

posted at 20:42:50

まぁ、とはいえ横浜は最大自治体だけあってIT人材は結構いる。図体に対して足りてはいないけど。多数の自治体はホント悲惨。良いシステムを見抜く目、小規模なものなら作る技術、自ら運用する体力、みな足りてない。 / “マイナカードで別人の住民票　識者「品質管理甘く、…” https://htn.to/4bX2gsichg

posted at 20:37:20

@kaetn 出す前にレビューさせられる方もホントそうおもってますがとりあえずゴメンナサイ

posted at 19:55:24

@tss_0101 地図の右上の「物部町」ってあたりにうちのお墓あります
そもそもその地図のあたりは丹波上原氏ゆかりの地なので上原だらけです
http://www2.harimaya.com/sengoku/html/tan_ueha.html…
巨人の上原投手も出身は寝屋川だけどその辺に親戚が多いはず
（うちはその辺には近い親戚は残ってなくて墓だけがある）

posted at 19:48:54

元請けの人も最初は優秀だったかもしれないけど下請け使うマネジメントやってる間にどんどんコード書けなくなってる人いっぱいだし…
じゃあ下請けに直接発注すればと思うけど、行政には入札資格とか検収後振込とか年度単位予算とか、資金的な体力ない企業には請けられない仕組みだらけだし… https://twitter.com/furotty/status/1641384240154828801…

posted at 19:43:52

日本のITゼネコンにある根深い問題ですわね
（さっき新聞取材を受けたのでその話をコンコンセツセツとした…） https://twitter.com/RyoMa_0923/status/1641377449887043585…

posted at 19:07:06

リスト型攻撃か…転職系は機微情報の固まりなのでやられた人はたまったもんじゃないよなぁ…というわけでパスワード使い回しダメ絶対! / “「エン転職」に不正アクセス、履歴書25万人分が漏えいした可能性　リスト型攻撃で” https://htn.to/YcFUFmQkST

posted at 18:41:15

@praco0080 バグりにくい設計を上流でちゃんと考えてあげることと、あと実装の品質管理はレビュー体制でがんばることでしょうかねぇ。あんまり王道はないけど最近はプログラミングフレームワーク選択の時点でだいぶリスクが減らせる気はしてます。

posted at 18:35:12

横浜市は日本最大人口の基礎自治体なのでそれにあわせて作るべきなんだけど足りてなかったみたいね。横浜が事業者の名を出してないのは偉いけど再発防止としてまず市が何するかに言及すべきでは？検収体制とか。 / “マイナカードで他人の住民票発行される横浜のコンビニで…” https://htn.to/2wbAYYgAWg

posted at 18:33:10

@tss_0101 うーわむっちゃドキドキ

（しかもこのカメラがあるのは上原家先祖代々の墓のすぐ近くやないか!）

posted at 17:56:14

単純キューか…ロックファイルで排他制御してはいたが、ファイル生成がタイムアウトしちゃってロックを解放しちゃったのでファイル送信プロセスが次のファイルを掴んじゃったのね。ダサい。ID打てばいいだけなのに。 / “コンビニ交付で別人の住民票が発行されるバグ、富士…” https://htn.to/U1k3Z7zNt3

posted at 17:32:13

この説明は技術者にはすぐわかるんだけど普通の人には判らない。普通の人の主観では「人違いが生じた＝マイナンバーカードは確実な個人認証とはいえない」と誤解してしまう。そうではないことをちゃんと言ってよ。 / “「Fujitsu MICJET コンビニ交付」サービスで発生した印…” https://htn.to/tp1Wj58ihA

posted at 16:10:47

なんやほぼ正解やないけ
https://www.fujitsu.com/jp/group/fjj/about/resources/news/topics/2023/0330.html…
前の残りを送っちゃったんじゃなくて、次をつくって送っちゃったらしい https://twitter.com/tetsutalow/status/1641284938241814529…

posted at 16:06:18

@bamboo_and_tyre って行ってる間に答え合わせ完了しちゃった．ビンゴ．
https://www.fujitsu.com/jp/group/fjj/about/resources/news/topics/2023/0330.html…

posted at 16:04:17

@bamboo_and_tyre そうだろうと思います。とはいえシステム構成がかなり込み入ってて、技術者（それもフルスタック系の）じゃないと俯瞰できないし、相互のシステムの関係を理解してて責任分界をビシっと言える人なんて多くないのでちゃんと報道される気がなかなかしないのが辛いところですね…ステークホルダが多すぎる

posted at 16:00:44

@iwai2go 認証IDがJPKIだと思って下さい
(認証要素はもちろん署名)

posted at 13:25:58

@AbortTask いずれにせよ認証機構の問題ではないということを富士通がはっきりさせてくれないと、マイナンバーカードの信用問題になります。利用者の主観的には個人認証に誤りがあったようにしか見えないので。

posted at 13:05:11

まずこの仕組みにはマイナンバーどこにも出てきません。使ってるのはJPKIだけ。JPKIのシリアル番号は使ってるかもしれません（もちろんユニークIDだが5年ごとに変わる）。まぁタイムアウト処理不備か排他制御漏れあたりじゃないかなとは思うんですけど。 https://twitter.com/iwai2go/status/1641286893022347266…

posted at 13:03:23

@techniczna 批判したい人のネタに使われるだけなのでほんと勘弁してほしい。多分ほんと凡ミスっぽいので、JPKI本体には無関係だと思います。ましてマイナンバーは全く関係ないんですが…

posted at 12:47:17

コンビニ交付ってセンターで印刷イメージつくってそれを送る仕組みなので、間違って他の人のイメージを送っちゃったんじゃないのかね。例えば高負荷でファイル生成失敗したのに気づかず、かつ排他制御がダサくて直前の人のファイルがまだ残っててそれをそのまま送っちゃったとかね。

posted at 12:43:17