feature: token refresh 전용 batch 추가

Nuung · Nuung · commit 5c3b7fa4bb9c · 2023-11-16T16:53:58.000+09:00
diff --git a/README.md b/README.md
@@ -2,15 +2,54 @@
 
 > velog dashboard
 
-## Getting Started
+## 1. HOW TO USE
 
-1. 
 
-## 사용하는 velog graphQL list
+
+
+## 2. token 활용 사항과 사용하는 velog graphQL list
+
+### 1) token 활용
+
+- 입력한 token은 atlas cloud 로 제공되는 mongodb DBMS에 보관됩니다. network ip accesss 부터, auth 까지 모두 제한 환경이니 보안적 이슈는 mongodb사에 있습니다.
+- 즉, mongodb cloud가 털리는 이슈까지가 아니라면 token이 탈취될 염려가 없습니다. 
+- 만약 그럼에도 불구하고 token 탈취의 의심이 있다면, token의 자체 refresh를 멈추고 폐기에 들어갑니다. 
+- ***식별이 가능한 개인정보를 수집하지 않습니다.*** 수집하는 정보는 velog id (email) 이 unique 구분값을 위해 저장되며, 이는 token을 가지고 있는 제 3자에게 유출되지 않습니다.
+- 마케팅 용도로 사용하지 않습니다. 만약 이메일 전송이 필요하다고 판단 된다면, 개개인에게 공지성 메일 이후 동의를 받고 진행하게 됩니다. 
+
+### 2) 사용하는 velog graphQL
 
 1. `currentUser`
-- velog url를 얻기 위해 사용합니다. `username` 만 가져오며, 그 외 값은 (이메일 등) 가져오지 않고 저장하지 않습니다.
+- velog url를 얻기 위해 사용합니다. `username` 만 가져오며, 그 외 값은 가져오지 않고 누구에게도 제공하지 않습니다.
+- 토큰이 필요한 API 입니다.
+
+2. `Posts`
+- 해당 유저의 모든 게시글을 가져오기 위해 사용합니다. token이 필요없는 API 이며, 수정, 생성, 삭제 등의 모든 기능은 사용하지 않습니다. 오직 "READ" 만 사용합니다.
+- 토큰이 필요하지 않은 API 입니다.
+
+3. `getStats`
+- 특정 post uuid 값을 기반으로 통계 데이터를 모두 가져옵니다.
+- 토큰이 필요한 API 입니다.
+
+---
+
+## 3. Getting Started
+
+1. 먼저 mongodb atlas connction info가 필요합니다. - https://www.mongodb.com/atlas/database
+2. `backend` 디렉토리로 이동합니다.
+3. `.env.sample` file을 참조해 `.env` 를 만듭니다.
+4. 해당 디렉토리의 root에서 `yarn` 으로 필요한 모든 라이브러리를 설치하고 `yarn start` 로 가동합니다.
+5. 이제 static file을 열면 됩니다 -> `nginx > pages > index > index.html` 를 더블클릭으로 브라우저에서 열어주세요!
+6. 로그인을 통해 정상적으로 유저 등록이되는지 체크합니다!
+7. 이제 `worker` 로 이동해서 poetry를 활요해 필요한 라이브러리를 세팅합니다. - [poetry 간단 사용법](https://velog.io/@qlgks1/python-poetry-%EC%84%A4%EC%B9%98%EB%B6%80%ED%84%B0-project-initializing-%ED%99%9C%EC%9A%A9%ED%95%98%EA%B8%B0)
+8. `.env.sample` file을 참조해 `.env` 를 만듭니다.
+9. `main.py` 를 러닝해서 데이터 스크레이핑을 확인합니다. 로깅은 console stream과 file stream 모두 존재합니다!
+10. `token_refresh.py` 로 저장된 user token을 refresh 해줍니다!
+
 
-2. 
+## 4. 참조
 
-https://github.com/inyutin/aiohttp_retry
+- 프로젝트 진행 기록 - velog : 
+- [mongodb cloud - atlas](https://www.mongodb.com/atlas/database)
+- [poetry 간단 사용법](https://velog.io/@qlgks1/python-poetry-%EC%84%A4%EC%B9%98%EB%B6%80%ED%84%B0-project-initializing-%ED%99%9C%EC%9A%A9%ED%95%98%EA%B8%B0)
+- [aiohttp_retry](https://github.com/inyutin/aiohttp_retry)
diff --git a/backend/src/services/userInfoServices.js b/backend/src/services/userInfoServices.js
@@ -2,7 +2,7 @@
 
 import UserInfo from "../models/userInfo.js";
 
-const setAuthCookie = (res, accessToken, refreshToken) => {
+const setAuthCookie = async (res, accessToken, refreshToken) => {
     res.cookie("accessToken", accessToken);
     res.cookie("refreshToken", refreshToken);
 };
@@ -16,7 +16,7 @@ export const signUpORsignIn = async (req, res) => {
 
         // 존재하면?
         if (userChkOne) {
-            setAuthCookie(res, accessToken, refreshToken);
+            await setAuthCookie(res, accessToken, refreshToken);
             return res.status(200).json({
                 message: "User logined successfully",
                 user: userChkOne
@@ -32,7 +32,7 @@ export const signUpORsignIn = async (req, res) => {
             // user token update
             const updateResult = await UserInfo.updateTokenByuserId(userChkTwo.userId, accessToken, refreshToken);
             if (updateResult.matchedCount && updateResult.modifiedCount) {
-                setAuthCookie(res, accessToken, refreshToken);
+                await setAuthCookie(res, accessToken, refreshToken);
                 return res.status(200).json({
                     message: "User logined and updated successfully",
                     user: userChkTwo
@@ -47,7 +47,7 @@ export const signUpORsignIn = async (req, res) => {
 
         // 그래도 존재하지 않으면 신규 가입 -> 만료된 토큰일 가능성 있음, 그때 error
         const newUser = await UserInfo.createUser(accessToken, refreshToken);
-        setAuthCookie(res, accessToken, refreshToken);
+        await setAuthCookie(res, accessToken, refreshToken);
         return res.status(201).json({
             message: "User created successfully",
             user: newUser
diff --git a/nginx/pages/dashboard/index.html b/nginx/pages/dashboard/index.html
@@ -10,6 +10,47 @@
       href="https://fonts.googleapis.com/css2?family=Nanum+Gothic:wght@400;700&family=Nunito+Sans:ital,wght@1,400;1,900&display=swap"
       rel="stylesheet"
     />
+    <!-- Channel Talk -->
+    <script>
+      (function () {
+        var w = window;
+        if (w.ChannelIO) {
+          return w.console.error("ChannelIO script included twice.");
+        }
+        var ch = function () {
+          ch.c(arguments);
+        };
+        ch.q = [];
+        ch.c = function (args) {
+          ch.q.push(args);
+        };
+        w.ChannelIO = ch;
+        function l() {
+          if (w.ChannelIOInitialized) {
+            return;
+          }
+          w.ChannelIOInitialized = true;
+          var s = document.createElement("script");
+          s.type = "text/javascript";
+          s.async = true;
+          s.src = "https://cdn.channel.io/plugin/ch-plugin-web.js";
+          var x = document.getElementsByTagName("script")[0];
+          if (x.parentNode) {
+            x.parentNode.insertBefore(s, x);
+          }
+        }
+        if (document.readyState === "complete") {
+          l();
+        } else {
+          w.addEventListener("DOMContentLoaded", l);
+          w.addEventListener("load", l);
+        }
+      })();
+
+      ChannelIO("boot", {
+        pluginKey: "9bf7ef35-5a3a-410a-b69a-67ef1fd9ed6b",
+      });
+    </script>
     <!-- Sweetalert2 -->
     <script src="https://cdn.jsdelivr.net/npm/sweetalert2@11"></script>
     <!-- ChartJS, date adpater -->
diff --git a/nginx/pages/dashboard/index.js b/nginx/pages/dashboard/index.js
@@ -130,6 +130,9 @@ const updateUserInfo = async () => {
             <span>${res.userInfo.lastScrapingAttemptResult}</span>
         </div>
     `;
+
+    // 저장된 로컬스토리지도 업데이트 (토큰 리프레싱때문)
+    localStorage.setItem("userInfo", JSON.stringify(res.userInfo));
     return res;
 };
 
@@ -272,7 +275,7 @@ const init = () => {
 
     // polling event 들 등록하기
     updateUserInfo();
-    polling(updateUserInfo, 60000, (res) => { return false });
+    polling(updateUserInfo, 30000, (res) => { return false });
 
     updateUserStats();
     polling(updateUserStats, 60000, (res) => { return false });
diff --git a/nginx/pages/index/index.html b/nginx/pages/index/index.html
@@ -10,6 +10,47 @@
       href="https://fonts.googleapis.com/css2?family=Nanum+Gothic:wght@400;700&family=Nunito+Sans:ital,wght@1,400;1,900&display=swap"
       rel="stylesheet"
     />
+    <!-- Channel Talk -->
+    <script>
+      (function () {
+        var w = window;
+        if (w.ChannelIO) {
+          return w.console.error("ChannelIO script included twice.");
+        }
+        var ch = function () {
+          ch.c(arguments);
+        };
+        ch.q = [];
+        ch.c = function (args) {
+          ch.q.push(args);
+        };
+        w.ChannelIO = ch;
+        function l() {
+          if (w.ChannelIOInitialized) {
+            return;
+          }
+          w.ChannelIOInitialized = true;
+          var s = document.createElement("script");
+          s.type = "text/javascript";
+          s.async = true;
+          s.src = "https://cdn.channel.io/plugin/ch-plugin-web.js";
+          var x = document.getElementsByTagName("script")[0];
+          if (x.parentNode) {
+            x.parentNode.insertBefore(s, x);
+          }
+        }
+        if (document.readyState === "complete") {
+          l();
+        } else {
+          w.addEventListener("DOMContentLoaded", l);
+          w.addEventListener("load", l);
+        }
+      })();
+
+      ChannelIO("boot", {
+        pluginKey: "9bf7ef35-5a3a-410a-b69a-67ef1fd9ed6b",
+      });
+    </script>
     <!-- Sweetalert2 -->
     <script src="https://cdn.jsdelivr.net/npm/sweetalert2@11"></script>
     <!-- CUSTOM -->
diff --git a/nginx/pages/index/index.js b/nginx/pages/index/index.js
@@ -16,10 +16,9 @@ const login = async () => {
         // window.location.href = "/dashboard";
         window.location.href = "../dashboard/index.html";
     } catch (error) {
-        // console.log(error);
         await Swal.fire({
             title: "로그인 실패",
-            text: error.message,
+            text: `${error.message}, 만료된 토큰 이슈가 계속 발생하면 오른쪽 하단을 통해 바로 문의 주세요 도와드릴게요!!`,
             icon: "error",
             confirmButtonText: "OK",
             background: "#242424", // 혹은 다크 테마에 맞는 색상으로 설정
diff --git a/worker/logger.py b/worker/logger.py
@@ -46,4 +46,5 @@ def get_logger(name: str) -> Logger:
     return logger
 
 
-LOGGER = get_logger("velog-dashboard-worker")
+MAIN_LOGGER = get_logger("velog-dashboard-worker")
+TOKEN_REFRESH_LOGGER = get_logger("velog-dashboard-token-worker")
diff --git a/worker/src/db.py b/worker/src/db.py
@@ -11,7 +11,7 @@
 
 
 class Repository:
-    def __init__(self, db_url: str, period_min: int) -> None:
+    def __init__(self, db_url: str, period_min: int = 10) -> None:
         self.tz = pytz.timezone("Asia/Seoul")
         self.period_min = period_min  # user find할때 업데이트 몇 분 전 user를 가져올 지
         self.__get_connection(db_url)
@@ -131,6 +131,20 @@ async def update_userinfo_fail(self, user: UserInfo, result_msg: str):
         )
         return result
 
+    async def update_userinfo_token(self, user: UserInfo, cookie: dict):
+        coll = self.db["userinfos"]
+        result = await coll.update_one(
+            {"userId": user.userId},
+            {
+                "$set": {
+                    "accessToken": cookie["access_token"],
+                    "refreshToken": cookie["refresh_token"],
+                    "updatedAt": datetime.now(self.tz),
+                }
+            },
+        )
+        return result
+
     def __del__(self) -> None:
         self.client.close()
 
diff --git a/worker/src/modules/velog_apis.py b/worker/src/modules/velog_apis.py
@@ -120,6 +120,42 @@ async def fetch_stats(total_post_id_dict: dict, actoken, reftoken):
         return total_post_id_dict
 
 
+async def get_cookie_from_one_stats_api(uuid: str, actoken, reftoken) -> dict:
+    """
+    ### 특정 post의 통계 하나만 가져오기
+    - token refresh 목적의 함수
+    """
+    retry_options = ExponentialRetry(attempts=3)
+    async with RetryClient(retry_options=retry_options) as session:
+        query = """
+        query GetStats($post_id: ID!) {
+            getStats(post_id: $post_id) {
+                total
+                count_by_day {
+                    count
+                    day
+                }
+            }
+        }"""
+        variables = {"post_id": uuid}
+        payload = {"query": query, "variables": variables, "operationName": "GetStats"}
+        headers = get_header(actoken, reftoken)
+        async with session.post(
+            "https://v2cdn.velog.io/graphql",
+            json=payload,
+            headers=headers,
+        ) as response:
+            cookie_dict = dict()
+            try:
+                # 응답에서 쿠키를 가져옵니다.
+                cookies = response.cookies
+                # 쿠키를 딕셔너리로 변환합니다.
+                cookie_dict = {cookie.key: cookie.value for cookie in cookies.values()}
+            except Exception as e:
+                log.error(f"get_cookie_from_one_stats_api >> {uuid}, error >> {e}")
+            return cookie_dict
+
+
 async def fetch_posts(user_name: str):
     """
     ### 모든 페이지의 포스트를 가져오기 위해 비동기로 페이지를 반복.
diff --git a/worker/token_refresh.py b/worker/token_refresh.py
@@ -0,0 +1,61 @@
+import asyncio
+import os
+
+from dotenv import load_dotenv
+from logger import TOKEN_REFRESH_LOGGER as log
+from src.db import Repository
+from src.models import UserInfo
+from src.modules.velog_apis import fetch_posts, get_cookie_from_one_stats_api
+
+load_dotenv()
+DB_URL = os.getenv("DB_URL")
+PERIOD_MIN = int(os.getenv("PERIOD_MIN"))
+
+if not DB_URL:
+    raise Exception("There is no DB_URL value in env value")
+
+if not PERIOD_MIN:
+    PERIOD_MIN = 15
+
+
+async def main():
+    rep = Repository(DB_URL, PERIOD_MIN)
+    # 모든 데이터 스크레핑 타겟 유저 가져오기
+    target_users: list[UserInfo] = await rep.find_users()
+
+    if not target_users:
+        log.info("empty target user")
+
+    for user in target_users:
+        # 전체 게시물 정보를 가져온 뒤, 첫 게시글 uuid만 추출
+        posts = await fetch_posts(user.userId)
+        log.info(f"{user.userId} - posts {len(posts)}, start to fetching all stats")
+        target_post = list(posts.keys())[0]
+
+        try:
+            # 해당 uuid 값 기반으로 cookie 값만 가져오기
+            target_cooike = await get_cookie_from_one_stats_api(
+                target_post, user.accessToken, user.refreshToken
+            )
+
+            # cookie validations
+            if (
+                not target_cooike
+                or not target_cooike.get("access_token")
+                or not target_cooike.get("refresh_token")
+            ):
+                raise Exception("cookie is empty")
+
+            # 가져온 cookie db update
+            result = await rep.update_userinfo_token(user, target_cooike)
+            log.info(
+                f"{user.userId} - "
+                + f"target_cooike >> {target_cooike}, "
+                + f"result >> {result}"
+            )
+        except Exception as e:
+            log.error(f"{user.userId} - token_refresh exception >> {e}, {type(e)}")
+            continue
+
+
+asyncio.run(main())
