徳島商業高校時代、エースで4番として出場。準々決勝まで進出した。卒業後は明治大学に進学。1997年に大学の先輩でもある星野仙一率いる中日ドラゴンズを逆指名し、プロ入りをはたした。
入団一年目から1軍に定着。14勝6敗という成績でセリーグ新人王に選ばれた。背番号は11。権藤博や星野仙一、小松辰雄ら球団歴代エースがつけてきた「20番に最も近い男」と呼ばれてきたが、川上は11を気に入っていた。
得意球のカットボールは、当時、投げるピッチャーが少なく、バッターは苦戦した。日米野球で対戦したメジャーリーガーからは「日本で唯一本物のカットボールを投げる投手」とも言われた。
急性感音性難聴に悩まされ、二桁敗戦の年もあった。しかし、2002年8月の対巨人戦では史上70人目となるノーヒットノーランを達成。2004年にはチームのリーグ優勝に貢献し、リーグ最優秀選手、沢村賞など9つのタイトルを獲得した。
現・巨人監督の高橋由伸とは、同い年で大学時代からのライバル。プロでも名勝負を繰り広げた。
2009年にはメジャーに渡る。アトランタ・ブレーブスと3年契約を結んだ。背番号は中日時代と同じ11。入団会見では「魂」と書かれた色紙を手にした。
メジャー1年目は7勝12敗。2年目、1勝10敗。3年目は出場なし。とても「輝かしい成績」とは言えないものだった。
2012年に中日に復帰。背番号は変わらず「11」をつけた。当時、11を付けていた岡田俊哉は「21」に変更し譲った。
2012年は7試合に登板し、3勝1敗。翌年は5試合1勝1敗。2015年には、右肩の腱板を痛めた影響で、登板がなかった。9月末に腱板の再建手術。そして同年10月20日に中日からの退団を表明した。会見では「率直に言いますと、まだ野球に没頭したい。野球少年でいたかった。限界に近いのは分かっている、限界を超えてまでもやりたい」と語った。
