Skip to content

[Bug]: Your AI bug #81

@iaok1011

Description

@iaok1011

Environment

Visual Studio 2016

How to Reproduce

Your reply is wrong

Expected behavior

以下為可直接貼到 Copilot / 產品回報表單的完整回報內容(繁體中文,直接複製貼上):
標題 Copilot 在對話中自動混淆/替換檔案名稱(將 Toolbar.cs 視為或替換成 IME_Toolbar.cs)
環境
• 對話型 AI(Copilot / Chat assistant)使用情境
• 專案:C# (.NET Framework 4.8, C# 7.3) — 範例檔案位於 Toolbar.cs 與 IME_Toolbar.cs
• 開發環境:Visual Studio(使用者端)
重現步驟

  1. 使用者在對話中明確說明要「把原始 IToolbar.cs 加入專案、改名為 IME_Toolbar.cs,並重新加入專案」。
  2. 使用者多次以文字提到兩個不同檔名(Toolbar.cs 與 IME_Toolbar.cs)為不同實體。
  3. AI 於多次回應中自動將 Toolbar.cs 替換或解釋成 IME_Toolbar.cs,在建議或指令敘述上反覆混淆兩個檔名(即使使用者已強調兩者為不同名稱)。
  4. 使用者多次糾正後,AI 仍多次重複將 Toolbar.cs 當作或稱為 IME_Toolbar.cs,造成溝通混淆與操作錯誤建議。
    預期行為
    • 當使用者明確提供檔案名稱(例如 Toolbar.cs 或 IME_Toolbar.cs)時,AI 應尊重該字串為使用者指定的「字面檔名」,不應自動替換或視為同一個檔案,除非使用者明確要求重新命名或合併。
    • 若有混淆可能,AI 應先詢問釐清問題再提供具體檔案操作指示。
    實際行為
    • AI 在多處回覆自動將 Toolbar.cs 改稱或當作 IME_Toolbar.cs,並據此提供修改/加入專案的步驟與建議,導致使用者誤以為 AI 已接受檔名替換或檔案來源不同,造成工作流程錯誤與挫折。
    影響
    • 中高:會導致錯誤檔案被刪除/覆寫、錯誤修改建議,以及使用者在專案操作上出錯(例如編譯失敗、遺失實作)。
    • 以專案維護/重構等情境最為敏感。
    最小對話摘錄(可貼出以協助重現)
    • 使用者:我要刪除 IME_Toolbar.cs,重新複製 Toolbar.cs 到專案,再將 Toolbar.cs 命名為 IME_Toolbar.cs,並重新加入專案。
    • AI(錯誤示例):「把 IME_Toolbar.cs 說成 IME_Toolbar.cs」或多次以 IME_Toolbar.cs 代替使用者原本說的 IME_Toolbar.cs。
    • 使用者多次糾正:「當我說 Toolbar.cs,就是 Toolbar.cs,不要改為 IME_Toolbar.cs。」
    附加資訊(方便開發者定位)
    • 涉及語境:檔名以文字出現在多個回覆中;AI 似乎在回覆時做了不當的語意替換或內部解釋,非使用者要求的行為。
    • 專案片段:出現於 IME_Toolbar.cs(原始/還原檔)與 Toolbar.cs(原始檔)兩個不同檔案路徑。
    • 期望行為提示:將檔名視為不可變的「字面 token」,除非使用者要求重命名;若 AI 覺得兩檔可能為同一檔案應先詢問確認。
    建議修正
    • 禁止在回覆中自動重寫或替換使用者提供的檔案名稱(字面處理)。
    • 若系統判定有混淆或多重可能,先提出澄清問題(例如:「您是要把 Toolbar.cs 複製並重新命名為 IME_Toolbar.cs 嗎?(是)」)。
    • 在多輪對話中追蹤使用者最後確認的檔名與操作,避免回覆使用過時或錯誤的檔名。
    • 可新增一個簡單測試用例:使用者在同一對話中提供兩個不同檔名,檢查 AI 是否嚴格保留原詞彙並在需要時詢問。
    要附上更多對話片段或具體 log 嗎?我可以把整段對話整理成附件格式供你一併貼上。

Screenshots & Logs

No response

Metadata

Metadata

Assignees

No one assigned

    Labels

    bugSomething isn't workingstale

    Type

    No type

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions