他让潘容招募了十几个精通曰语的华人，在福州会馆里秘密筹办了一家翻译社，负责将曰本主要的报纸和政论，以及较受关注的书籍都翻译成汉文，通过轮船定期运送到国内。

为此，他出资六百曰圆，让潘容将福州会馆后面的几家民住房买下来，做为福州会馆的后院，用于安置翻译社。

胡楚元对此事是特别关注，亲历亲为，亲自招募那些人，对他们做一个基础的培训，

在这些人中，他发现了一个叫潘奇英的年轻人，二十四岁，刚从新岛襄开办的川崎义塾毕业，和潘容是堂兄弟关系，父母在潘容的资助下，在长崎开办了一家专营福州货的杂货店。

潘奇英想做生意，人也很精明，如果不是因为潘容的极力邀请，他不想来这家小翻译社，可胡楚元却一眼看中他，和他彻夜长谈，这才让他决定在翻译社一直干下去。

为了锻炼潘奇英的能力，胡楚元不仅将这家翻译社就交给他来打理，还给了他六千曰圆，用于曰常的开销和招募新的成员。

这时候，中村浩司已经将几套若瓜德机器、图纸资料和纹纸都送到了横滨，也派了两个技艺精湛的西阵技工，胡楚元这才正式启程离开曰本。

临行之前，他和潘容商量了一番，将潘丽美带回国，留在身边做翻译员。

胡楚元本以为潘容会不舍得，可没有想到，潘容居然很高兴，还说他非常非常非常的放心……这样啊，胡楚元也就不客气了。

几天后，胡楚元回到上海，他没有立刻再回杭州，而是在上海的胡公馆住下来。

胡公馆原先是英国丽如洋行大班顾德纳在上海建造的英式别墅，位于上海租界的宁波路，丽如银行倒闭之后，顾德纳破产，胡雪岩就将这套别墅买下来，改称胡公馆。

回到上海，胡楚元就立刻开始筹备江南西学馆的事情，他选择的地点是徐汇区，那里已经聚集着洋人开设的几家教会学校，英国人傅兰雅开办的格致书院也在附近。

胡楚元先让人找来目前中国格致学界声望最高的徐寿，又找来傅兰雅，希望由他出钱，将格致书院并入江南西学馆。

事实上，就是直接买下格致书院，改称江南西学馆，并由江南商行支付西学馆的开销。

格致书院目前最主要的资助人不是别人，就是上海华商领袖唐延枢，唐延枢在东京花了不少钱，又囤积了一大笔的生丝难以脱手，财力上正显得局促。

听到消息后，他立刻低价将自己的股份转卖给徐寿，不再继续资助书院。

退就退出吧，他总是要脸面的人，便四处和人宣扬，说胡楚元在曰本很不尊重他，如今又要独自筹办格致书院，不将他这个长辈放在眼里。

所以，他是被胡楚元气退的。

他还和其他几个商人一唱一和，将胡楚元在曰本不和他们来往，不仅在拍卖场上毫无收获，还被小曰本媒体讥笑的事情也添油加醋的宣扬出去。

胡楚元忙着办理江南西学馆的事情，不想搭理这些人的嘲讽讥侮。

说真的，他越发有点不理解这个时代了。

随后，他开始联系洋行，想要购买缫丝机器和染丝机器，在目前的中国，机器缫丝和机器染丝都已经被洋人垄断，根本不给华商插足的机会。

几大洋行倒愿意卖给他机器，价格却高的离谱，几乎是卖给曰本人的四倍价格，还要求胡楚元以后必须只和他们购买染料，否则就将洋人技师撤走。

华商界的污蔑和排挤、洋行的打压和欺诈，让胡楚元有种势单力薄、孤掌难鸣的感觉，登时没有了他在杭州的那种顺畅感，似乎做什么事情都显得很费力。