見出し画像

コープさっぽろのネットワークを一新してみた

これはコープさっぽろ オープン社内報  Advent Calendar 2021 8日目の記事になります。

スノボのシーズンインで腹がつっかえて立てなかった若松です。
マジで腹をなんとかしなきゃと思いました。

さてさて、私もコープさっぽろに入協して1年が過ぎました。
移住なんて思い切ったことしたもんだなぁと自分でも思いますが、北海道(札幌)はホント住みやすくて気に入っています。いつか移住のアレコレも語れる機会を作れればと思います。

でもって今回はお仕事の話。
私のお仕事の範囲としてはAWS、オンプレ、ネットワーク、PC、SaaSなどいろいろあるわけですけど、この記事ではネットワークのお話をしたいと思います。


経緯

入協してすぐにインフラ全体見てねと言われたわけですが、既にプロジェクトに入っているメンバーがいるので、自分の役割は他部門との交通整理かなと思ってました。当然、ネットワークもそのスタンスでいたわけですが、なんか様子がおかしいなと思っていた2021年1月、問題は起こります。
元々自分の入協前からコープさっぽろのネットワークを刷新しようというプロジェクトが走っていて、2020年12月から実際の工事が始まっていました。1月は本部(会社でいうところの本社)と使用しているデータセンターのネットワーク機器及び構成を変更する重要なタイミングでしたが、当時担当していた協力会社さんの動きがなんともにぶい。
優秀な方々なのでなぜ仕事がこうも進まないんだろうと不思議に思っていたのですが、よくよく聞いてみると既に今年度での退場が決まっているという。マジかよ、そりゃあ撤退モードだよねと納得していた矢先、店舗の発注が飛ばないという障害が発生。
どうもネットワークが詰まっているらしいからなんとかしてくれという悲鳴がそこかしらから聞こえてきました。この時点で入協2ヶ月の自分にはどこでどのようなことが起こっているかイマイチピンときません。この状況で動くのがもう自分しかいなかったので、なんとか四苦八苦しながら対応しましたが、いきなり胃が痛い。。
結局、教育のための動画視聴が集中したためにネットワークが詰まったことが原因(ここは後述)だったわけなんですが、こうしたドタバタからいつのまにかネットワーク更改プロジェクトの中心に自分が立っていたことに気づきます。


ネットワーク更改プロジェクトとは

先程も少し触れましたが、コープさっぽろのネットワークを刷新しようというものです。

私が入協した時点では、ネットワーク機器の老朽化や時代に合っていない構成、無駄な専用線などいろんなところにペインが発生している状態でした。これは長年の継ぎ接ぎによるものと、ベンダに任せきりになっていたことによるツケです。
これからはインターネット上で仕事をするんだ!という方針の元、Google Workspace や Slack を導入したのに、ネットワークが貧弱なために活用に支障が出る最悪な状態。これをモダンな構成のネットワークに作り直し、増速とコスト削減、安定性の確保を同時に図るというのがネットワーク更改プロジェクトの趣旨です。

元々どんなネットワークだった?

構成としてはインターネット通信を含めたすべての通信が本部に集約される形でした。
これは通信量が少ない場合は機能しますが、昨今のWebサービスや動画視聴などが集中すると、途端に目詰まりを起こします。先に触れた障害もこれが原因となって起きており、切り替え直前で現状のネットワーク構成のヤバさを改めて思い知りました。
また、店舗などの拠点の回線速度が200Mbpsのままになっていたり、低速な専用線をわざわざ契約していたりと整理するポイントも想像以上に多かったです。

画像1


どういうネットワークに変えた?

まず、インターネット通信はすべて拠点から抜けるようにオフロードし、集約拠点で目詰まりを解消しました。
内部通信の集約拠点は本部からデータセンターに移動し、災害などによるネットワーク停止リスクの低下を図りました。本部は元々店舗だった建物を流用しているため、集約拠点としてはリスクが高すぎたのが理由です。
回線は一律1Gbpsの光回線に揃え、専用線を廃止しました。(諸事情で一部異なる拠点もあります)

画像2

実際にやってみてどうだった?

何をどう変えたというのを書くのは簡単なんですが、実際の切り替え作業は本当に大変でした。
なんせ拠点数が235もあり、店舗がその内半分の108、その他は宅配を筆頭に工場や物流など多岐にわたります。これを2021年2月~6月、週に2回、数拠点ずつの工事で切り替えるというハードスケジュール。実際には諸事情で数拠点を8月まで引っ張りましたが、なんとか完遂することができました。

店舗は営業時間にPOS通信などが走るため、日中にネットワークが止められず深夜対応になります。
店長との調整や深夜警備の手配などやることが盛りだくさんです。このあたりの調整はシステム部林さんが頑張ってくれました。この場を借りてお礼を言いたいと思います。あなたがいなければ私はとっくに死んでました。
初日の切り替えのときはクレジットカードが切れない!あと1時間半で開店だ!どうしよう!って2人で焦ったのを覚えてます。あんなに脳みそに汗かいたのは久しぶりです。結局は8時以降じゃないとクレジットカードは切れないという時限的な仕様だったわけですけど、こういった細かいトラブルが数日起きにやってくるので、胃が痛い日々でした。

店舗以外の拠点は店舗ほどシビアではないものの、バラエティに富んている分調整も一律どうするという方針が立てられないため一つ一つの業務の事情をヒアリングしながら日程を決めていく必要があります。
これが実に地道で、まずステークホルダーを見つけるのが一苦労で、そこからプロジェクトのあらまし説明と切り替え工事のお願い、日程の調整となかなかタフな作業でしたが、ここでも林さんが活躍してくれました、ほんと感謝。

じゃあお前は何をやってたんだというと、システム系の拠点(開発拠点やデータ連携先など)の調整と全体進捗の管理、技術的な事柄の判断といったところで、要するにPM業っぽいことをしてました。
サーバ系のインフラエンジニアを長くやってきたので、物理ネットワークがほんとにわからない。日々勉強しながらなので、ベンダさんにはかなり迷惑をかけながらだったと思います。優秀なベンダさんがついてくれていて本当に助かった。。

やり終えた後どうだった?

めっちゃ快適になりました。
本部にいても回線が切れることはなくなりましたし、他の拠点から悲鳴が聞こえてくることもかなり少なくなりました。(いろんな事情で悲鳴はまだあります。。)
あと、どういうネットワークになっているかを自分たちで把握できているというのも安心感があっていいです。何か起きてもどの辺が怪しいなとか見当がつくので、トラブルシュートもしやすいです。

個人的には物理ネットワークの知識や工事の感覚などわかってきたので、エンジニアとしても成長できたかなと思います。AWSだけ触っているとなかなか触れることのないところなので、想像できる幅が広がったと思います。

まとめ

入協して初っ端から大変なプロジェクトでしたが、完遂できて本当によかったです。

ここまで書いてきて、大変だったことは自分で乗り切ったと言うよりも周りに助けられて生かされたという感覚が強いです。関係者のみなさんには感謝しかないです。
時期が時期なので打ち上げはできませんでしたが、いつか苦労話を肴にみんな呑める日がくればいいなぁと思います。

更改プロジェクトは終わりましたが、不要になる回線の撤去や更改したからわかった問題への対処など、やることはまだまだあります。(現在進行中)
この経験を糧にコープさっぽろをより良くして、組合員さんに貢献できるように頑張ります!

文:わかまつ