上原 哲太郎/Tetsu. Uehara@tetsutalow
@asakawaya @atakiguchi とにかく何十万とページがあるサイトを静的に取得する作業は意外と大変で特に網羅性が求められるときには結局「本当にこれで全ページ取れたか」「逆に無駄に同一ページや(カレンダーのような)自動生成される無意味なページを取っていないか」の確認で死ぬのでCMSにそんな機能が欲しくなるのです。
posted at 04:39:01
ツイートの記録を停止しています
このアカウントはTwitter APIの仕様変更の影響でツイートの記録を停止しています。
記録を再開するには、Twilogにログインしてください。
Stats | Twitter歴 5,120日(2009/05/24より) |
ツイート数 21,393(4.1件/日) |
表示するツイート :
上原 哲太郎/Tetsu. Uehara@tetsutalow
@asakawaya @atakiguchi とにかく何十万とページがあるサイトを静的に取得する作業は意外と大変で特に網羅性が求められるときには結局「本当にこれで全ページ取れたか」「逆に無駄に同一ページや(カレンダーのような)自動生成される無意味なページを取っていないか」の確認で死ぬのでCMSにそんな機能が欲しくなるのです。
posted at 04:39:01
上原 哲太郎/Tetsu. Uehara@tetsutalow
@asakawaya @atakiguchi いやーでかいサイトのスクレイピングって終わりません。CMSが無限にURL自動生成してリンク先が収束しない例がアチコチでて例外対応で死ぬ。あとJavaScript絡みのリンクはwgetで取得できない。そこでヘッドレスブラウザとか使うんですが結局ホントにリンク追えてるか確認しながらやると膨大な作業で…
posted at 04:25:15
上原 哲太郎/Tetsu. Uehara@tetsutalow
”ユーザーの皆様のコンテンツへのアクセスを確保するため、リダイレクトの追加対応を早急に進めてまいります”リダイレクト性能が問題なら折角CloudFlare使ってるのでBulk Redirect使えばいいよと誰か教えてあげて / “IPAウェブサイトリニューアルに係るお詫びと対応につい…” https://htn.to/32RtnAyr7y
posted at 04:16:28
上原 哲太郎/Tetsu. Uehara@tetsutalow
”ユーザーの皆様のコンテンツへのアクセスを確保するため、リダイレクトの追加対応を早急に進めてまいります。” 性能のことを言うならせっかくCloudFlare使ってるのでBulk Redirect機能ってのがあるよと誰か教えてあげて / “IPAウェブサイトリニューアルに係るお詫びと対…” https://htn.to/32RtnAyr7y
posted at 04:14:46
上原 哲太郎/Tetsu. Uehara@tetsutalow
@asakawaya 私が過去に見たのはCMSで各URLに転送設定してる例で無駄に毎回CMSが2回起きるので重いってやつですが、他に.htaccessにズラズラ並べてクソ重くした例が報告されてます…
https://twitter.com/pmakino/status/1642930062768115713…
いずれにせよ今回はCDN使ってるのでコンテンツサーバのリダイレクト性能はあまり言い訳にならないです…
posted at 04:08:30
上原 哲太郎/Tetsu. Uehara@tetsutalow
@atakiguchi 良く見たらCloudFlaire使ってるので、これちゃんと使いこなせる業者ならURL書き換えできますね。
なのでRedirectの性能は言い訳に出来ませんね。移行作業と運用の業者が違うのかも知れませんけど、連携したらちゃんと出来る話なのになぁ。
posted at 14:29:24
上原 哲太郎/Tetsu. Uehara@tetsutalow
@atakiguchi って見てみたらIPAのページクラウドフレアのCDNに載ってますね
これだと普通はよくアクセスされるページはキャッシュされるから単に性能の問題じゃないですね
posted at 14:18:00
上原 哲太郎/Tetsu. Uehara@tetsutalow
@atakiguchi 今回はあたらないかもしれませんがもっと辛いのは「旧サイトのURLを全部維持せよ」ってやつで、これだとそれこそURLにプリフィックスつけて旧URLは旧コンテンツ維持したサーバを持って動かし続けることになります。旧コンテンツが動的CMSだとまさに地獄で、維持費が倍になりかねないという(経験談)
posted at 13:31:13
上原 哲太郎/Tetsu. Uehara@tetsutalow
@atakiguchi これだとRedirectでCMSが2回動く。Redirectするだけとはいえどうしても性能ペナルティがある。それがアクセス数多いページなら気にすると思います。未確認ですがRedirectをHTTP Status 301ですぐ飛ばさずに新URLへの案内ページ生成してから転送しろとか言われるともっと効くと思います…
posted at 13:25:21
上原 哲太郎/Tetsu. Uehara@tetsutalow
@atakiguchi そういう表をつかった高速なURL書き換えエンジンがついているCMSならまぁそうなんでしょうけど、ありがちな(そして安易な)実装は
①旧URLで受けるべきページはCMSの固定URL機能を使って作る
②そのページに、対応する新ページへのRedirectを設定する
これでやっちゃう…
posted at 13:11:13
上原 哲太郎/Tetsu. Uehara@tetsutalow
@atakiguchi URLの数によってパフォーマンスが変わるというのは多分正確じゃなくて、旧コンテンツのまま維持するページを新しいCMSで生成する際にちょっとトリッキーなことをやってるので、そういうページをあまり増やすと全体のCMSのパフォーマンスが落ちるのではないかというのがあの記事読んだときの私の想像。
posted at 13:01:02
上原 哲太郎/Tetsu. Uehara@tetsutalow
@atakiguchi 以前のCMSが静的コンテンツ簡単に吐いてくれるならそれを吐いてファイルシステムに並べてそういう実装にするんですが、そうじゃなかった場合そう簡単でもないですよ。昔Ploneからの引越という地獄のようなことをやったことがあって、CMSは代えるものではなく一緒に心中するものだと悟りました…
posted at 12:56:53
上原 哲太郎/Tetsu. Uehara@tetsutalow
思ったよりちゃんと対応されてたスイマセン。でも結局は落札後の協議の結果絞らざるを得なかったらしい。どのページを転送対象にするか事前に入札要件に入れてリストを提供するべきなのだけど実際やるのは大変よね。 / “IPAのサイトリニューアルで「404エラー」多発、一体…” https://htn.to/47cn6UAGUy
posted at 11:48:26
上原 哲太郎/Tetsu. Uehara@tetsutalow
@h_okumura @tss_ontap やってみると対応表を作るだけでも大変な工数なんですよね
CMSのURLが自動生成でままならない場合だと本当に手作業になります…
その辺の見積もりが全く甘くて突き抜けたのが滋賀県の例
「1000万もかけたのに」だそうですが内情聞くと全く割に合わない作業量でした
https://digital.asahi.com/articles/ASM5Z539GM5ZPTJB00L.html…
posted at 11:27:51
上原 哲太郎/Tetsu. Uehara@tetsutalow
@tss_ontap 転送設定にかかるコストが大きすぎることがわかって妥協案としてのこういう手に走ったんじゃないですかねえ
実際こんな大きな規模のサイトのURL転送はかなりの工数なので簡単じゃないのですが、予算どりの段階でこの辺の苦労の経験がない人ばかりだと誰も気づいてないことは少なくないです
posted at 04:04:00
上原 哲太郎/Tetsu. Uehara@tetsutalow
@ensankai ジャンボフレームもちょっと考えたんですが、L2のパケットがそんな広域に一気に影響するかなぁ?と思ったので、L3じゃないかと思ったのです。
posted at 22:09:52
上原 哲太郎/Tetsu. Uehara@tetsutalow
特定のバグを一斉に踏んじゃったらしいけど、非常に長いパケットってなに?フラグメントされてたやつの処理がおかしかったとかそんなプリミティブなところのバグなんて今さらある?! / “NTT東西の「フレッツ光」大規模障害、原因は特定のサーバから届いた“特殊なパケット”…” https://htn.to/xeVdxo3Z54
posted at 20:22:46
上原 哲太郎/Tetsu. Uehara@tetsutalow
@sugitk @zyake 滋賀県Webリニューアルでトラブった後にこんな意見交換会が行われたのですが
https://note.com/hazuijunpei/n/n8557e0b4ed65…
この場で私も行きましたがオフレコではかなり厳しい業者側のホンネの意見が飛び交ってました。その中の一つが「蓋を開けたらこの移行は無理って案件が公共案件にはあまりにも多い」です。
posted at 18:07:50
上原 哲太郎/Tetsu. Uehara@tetsutalow
@sugitk @zyake 実際、Web事業者に事前にURL転送の規模が正確に提示されず、見積もりができないまま札入れることって少なくないようです。そして蓋をあけるととても作業量的に折り合わないことがある。となるとどこかで妥協が入るわけですが、仕様書上の説明ができる範囲で最小限の対応になりがちです。
posted at 18:05:04
上原 哲太郎/Tetsu. Uehara@tetsutalow
@sugitk @zyake 十分協議すること、といわれても入札後なので工数足りません予算足りませんでできないってやつなんじゃないかと思われます
posted at 17:58:58
上原 哲太郎/Tetsu. Uehara@tetsutalow
…いや他人事ではなく現在進行形で私もトラブルを抱えており。
私が関係する某税金で運営されてる団体のWebページのリニューアルが難航中…いやでも仕様書にないことはやらないのが普通なんでちゃんと書いておかないとあかんのですが、と言っても後の祭り…私が事前に仕様書チェック出来てれば😭…
posted at 17:57:25
上原 哲太郎/Tetsu. Uehara@tetsutalow
役所だと委託先を入札で決める必要があるので以前の経緯を知らない業者が安く札を入れて受注するとトラブルが多い。
役所「えっ以前のページから転送とか当然されると思ってた」
業者「仕様書にないので無理デス」
役所「前はできたよ」
業者「前回は既存業者が落札したから只でやってたんですよ多分」
posted at 17:51:40
上原 哲太郎/Tetsu. Uehara@tetsutalow
役所のWebリニューアルあるある(IPAは独法だけど)。Webを担当する広報部門がITに弱くて旧URLからの転送とかを要件に書かずに単に旧コンテンツのデザイン刷新として発注しちゃう。滋賀県も2019年にやらかして議会ネタに。 / “情報処理推進機構(IPA)のサイトが刷新される…” https://htn.to/R3vEhn6AyQ
posted at 17:34:56
上原 哲太郎/Tetsu. Uehara@tetsutalow
むっちゃ悲しい…仕事帰りに気軽に寄れて便利だったのに! https://twitter.com/biccamerakyoto/status/1641634064229888001…
posted at 18:02:52
上原 哲太郎/Tetsu. Uehara@tetsutalow
年度末にでかいの来たなぁ。雰囲気的にはマルウェアっぽいが。こういうのって初報の数字530万が一人歩きするけどまだ昨日の話なので後で数字は変わるんじゃないかなとは思う。 / “NTTドコモ、個人情報530万件流出か 業務委託先から - 日本経済新聞” https://htn.to/9ZtDUahriP
posted at 17:45:36
上原 哲太郎/Tetsu. Uehara@tetsutalow
@matusita @tss_0101 この程度が自動化できずにDXいうなって感じ
posted at 17:28:44
上原 哲太郎/Tetsu. Uehara@tetsutalow
@NakataMaho 松下BeもStardent TITAN3000も使ってた私が通ります…
posted at 15:18:20
上原 哲太郎/Tetsu. Uehara@tetsutalow
これが仮に窓口職員のやらかしなら、窓口が非正規だろうが派遣だろうがまず市が謝ります。記者会見で「派遣元をよく指導します」とか言ったら責任逃れかと言われるはず。それがシステムになった途端に「再発防止をさせます」になる。それで世間も納得しちゃう。これ根が深い話だと思います。 https://twitter.com/Yo_bun_izonsho/status/1641603162057613312…
posted at 10:26:53
上原 哲太郎/Tetsu. Uehara@tetsutalow
@Yo_bun_izonsho 今回に関してはLG-WAN ASPなので個別の検収はしません。性能保証はJ-LISがするべきなのですがまぁ能力不足ですね…それではあかんやろという話をする機会が今度ありそうなので、しますが。
どちらにせよ自治体に当事者意識が必要で、横浜は当事者能力が持てる数少ない自治体なのにちょっと残念でした。
posted at 10:16:22
上原 哲太郎/Tetsu. Uehara@tetsutalow
@a_saitoh Cardbusなら中年でPCMCIAだけなら老人とかですか
posted at 20:42:50
上原 哲太郎/Tetsu. Uehara@tetsutalow
まぁ、とはいえ横浜は最大自治体だけあってIT人材は結構いる。図体に対して足りてはいないけど。多数の自治体はホント悲惨。良いシステムを見抜く目、小規模なものなら作る技術、自ら運用する体力、みな足りてない。 / “マイナカードで別人の住民票 識者「品質管理甘く、…” https://htn.to/4bX2gsichg
posted at 20:37:20
上原 哲太郎/Tetsu. Uehara@tetsutalow
@kaetn 出す前にレビューさせられる方もホントそうおもってますがとりあえずゴメンナサイ
posted at 19:55:24
上原 哲太郎/Tetsu. Uehara@tetsutalow
@tss_0101 地図の右上の「物部町」ってあたりにうちのお墓あります
そもそもその地図のあたりは丹波上原氏ゆかりの地なので上原だらけです
http://www2.harimaya.com/sengoku/html/tan_ueha.html…
巨人の上原投手も出身は寝屋川だけどその辺に親戚が多いはず
(うちはその辺には近い親戚は残ってなくて墓だけがある)
posted at 19:48:54
上原 哲太郎/Tetsu. Uehara@tetsutalow
元請けの人も最初は優秀だったかもしれないけど下請け使うマネジメントやってる間にどんどんコード書けなくなってる人いっぱいだし…
じゃあ下請けに直接発注すればと思うけど、行政には入札資格とか検収後振込とか年度単位予算とか、資金的な体力ない企業には請けられない仕組みだらけだし… https://twitter.com/furotty/status/1641384240154828801…
posted at 19:43:52
上原 哲太郎/Tetsu. Uehara@tetsutalow
日本のITゼネコンにある根深い問題ですわね
(さっき新聞取材を受けたのでその話をコンコンセツセツとした…) https://twitter.com/RyoMa_0923/status/1641377449887043585…
posted at 19:07:06
上原 哲太郎/Tetsu. Uehara@tetsutalow
リスト型攻撃か…転職系は機微情報の固まりなのでやられた人はたまったもんじゃないよなぁ…というわけでパスワード使い回しダメ絶対! / “「エン転職」に不正アクセス、履歴書25万人分が漏えいした可能性 リスト型攻撃で” https://htn.to/YcFUFmQkST
posted at 18:41:15
上原 哲太郎/Tetsu. Uehara@tetsutalow
@praco0080 バグりにくい設計を上流でちゃんと考えてあげることと、あと実装の品質管理はレビュー体制でがんばることでしょうかねぇ。あんまり王道はないけど最近はプログラミングフレームワーク選択の時点でだいぶリスクが減らせる気はしてます。
posted at 18:35:12
上原 哲太郎/Tetsu. Uehara@tetsutalow
横浜市は日本最大人口の基礎自治体なのでそれにあわせて作るべきなんだけど足りてなかったみたいね。横浜が事業者の名を出してないのは偉いけど再発防止としてまず市が何するかに言及すべきでは?検収体制とか。 / “マイナカードで他人の住民票発行される 横浜のコンビニで…” https://htn.to/2wbAYYgAWg
posted at 18:33:10
上原 哲太郎/Tetsu. Uehara@tetsutalow
@tss_0101 うーわむっちゃドキドキ
(しかもこのカメラがあるのは上原家先祖代々の墓のすぐ近くやないか!)
posted at 17:56:14
上原 哲太郎/Tetsu. Uehara@tetsutalow
単純キューか…ロックファイルで排他制御してはいたが、ファイル生成がタイムアウトしちゃってロックを解放しちゃったのでファイル送信プロセスが次のファイルを掴んじゃったのね。ダサい。ID打てばいいだけなのに。 / “コンビニ交付で別人の住民票が発行されるバグ、富士…” https://htn.to/U1k3Z7zNt3
posted at 17:32:13
上原 哲太郎/Tetsu. Uehara@tetsutalow
この説明は技術者にはすぐわかるんだけど普通の人には判らない。普通の人の主観では「人違いが生じた=マイナンバーカードは確実な個人認証とはいえない」と誤解してしまう。そうではないことをちゃんと言ってよ。 / “「Fujitsu MICJET コンビニ交付」サービスで発生した印…” https://htn.to/tp1Wj58ihA
posted at 16:10:47
上原 哲太郎/Tetsu. Uehara@tetsutalow
なんやほぼ正解やないけ
https://www.fujitsu.com/jp/group/fjj/about/resources/news/topics/2023/0330.html…
前の残りを送っちゃったんじゃなくて、次をつくって送っちゃったらしい https://twitter.com/tetsutalow/status/1641284938241814529…
posted at 16:06:18
上原 哲太郎/Tetsu. Uehara@tetsutalow
@bamboo_and_tyre って行ってる間に答え合わせ完了しちゃった.ビンゴ.
https://www.fujitsu.com/jp/group/fjj/about/resources/news/topics/2023/0330.html…
posted at 16:04:17
上原 哲太郎/Tetsu. Uehara@tetsutalow
@bamboo_and_tyre そうだろうと思います。とはいえシステム構成がかなり込み入ってて、技術者(それもフルスタック系の)じゃないと俯瞰できないし、相互のシステムの関係を理解してて責任分界をビシっと言える人なんて多くないのでちゃんと報道される気がなかなかしないのが辛いところですね…ステークホルダが多すぎる
posted at 16:00:44
上原 哲太郎/Tetsu. Uehara@tetsutalow
@iwai2go 認証IDがJPKIだと思って下さい
(認証要素はもちろん署名)
posted at 13:25:58
上原 哲太郎/Tetsu. Uehara@tetsutalow
@AbortTask いずれにせよ認証機構の問題ではないということを富士通がはっきりさせてくれないと、マイナンバーカードの信用問題になります。利用者の主観的には個人認証に誤りがあったようにしか見えないので。
posted at 13:05:11
上原 哲太郎/Tetsu. Uehara@tetsutalow
まずこの仕組みにはマイナンバーどこにも出てきません。使ってるのはJPKIだけ。JPKIのシリアル番号は使ってるかもしれません(もちろんユニークIDだが5年ごとに変わる)。まぁタイムアウト処理不備か排他制御漏れあたりじゃないかなとは思うんですけど。 https://twitter.com/iwai2go/status/1641286893022347266…
posted at 13:03:23
上原 哲太郎/Tetsu. Uehara@tetsutalow
@techniczna 批判したい人のネタに使われるだけなのでほんと勘弁してほしい。多分ほんと凡ミスっぽいので、JPKI本体には無関係だと思います。ましてマイナンバーは全く関係ないんですが…
posted at 12:47:17
上原 哲太郎/Tetsu. Uehara@tetsutalow
コンビニ交付ってセンターで印刷イメージつくってそれを送る仕組みなので、間違って他の人のイメージを送っちゃったんじゃないのかね。例えば高負荷でファイル生成失敗したのに気づかず、かつ排他制御がダサくて直前の人のファイルがまだ残っててそれをそのまま送っちゃったとかね。
posted at 12:43:17
上原 哲太郎/Tetsu. Uehara@tetsutalow
これすぐ直ったってことは簡単にわかる程度の凡ミスなんだろうけど詳細公開してくれないかな。原因ちゃんと公開してくれないとマイナンバーカードの信用に関わるんですが。 / “別人の住民票が誤って発行されるバグ、富士通Japanのコンビニ交付サービスで” https://htn.to/2Jdk8DfcDs
posted at 12:35:48