不過，張是彝卻娶了兩個好妻子，原配和繼配都是吳本善的女兒。吳本善是晚清名人吳大澂的侄子，吳大澂的獨子早卒，吳本善就把自己的兒子吳湖帆過繼給吳大澂做了嗣孫。吳氏一門均是晚清至民國時期著名的金石書畫鑒藏大家。張是彝原配生下大兒子一夔而卒，繼配歷盡艱辛，把姐姐的孩子及自己的子女撫育長成，想來是很艱難的。兒女長大了，她曾感歎道：「你們所以能自立，正因上代沒有遺財給你們！」可見，當時張家生活的清貧。而門第略高的吳氏之所以先後把兩個女兒都嫁給張家，原因還是張氏作為文化家族的背景和素養，這幾乎是明清時期江南望族聯姻的普遍情形。
科舉途上 一無所獲
張一麐少稱神童，十二歲應童子試，就取中了秀才。扳著手指頭算算那個時代，在這個年歲中秀才的，還有不少名士：梁啟超、蔡鍔、徐樹錚等等。所以張一麐在晚年提起「當年勇」時，依然頗有幾分自得。
張一麐自述考試當天，看到題目，不及細想就稀裡糊塗下筆。由於進考場前貪嘴多吃了一些零食，肚子發脹難受，著急欲如廁。草稿還沒寫完，就匆促交卷，只等大門一開就溜。可不一會兒，訓導先生就趕腳追過來，在門口一把逮住張一麐，命令回去補完試卷。張一麐不願意，訓導先生就指著自己頭上的銅頂說：「爾不補草稿，此物不能載也。」銅頂子不金貴，但總值得幾個飯錢，於是強拉張一麐入席補寫，完成時等著終場啟門的也就三兩個而已. 他的兒子憶述:「門啟後，先君領至候考處，大泄一通方歸。榜發，榜上有名。」
據說，喜報到家時，這位新相公秀才正跟弟弟張一鵬趴在天井裡玩搭房子的遊戲。
跟祖輩在科舉之途上孜孜矻矻仍一無所獲不同，張一麐的登榮榜好像是易如探囊的事。接下來，十六歲（一八八二年）赴鄉試，又是因為審題未清，從初定的第六名降為副榜第二名。雖然這是很令人沮喪的事情，但是張一麐卻得到本次考試的監臨大人、兩江總督左宗棠的賞識。
原來，當榜發拆彌封時，發現考生只是一個十六歲的少年，現場一片譁然。左宗棠即令調出三場墨卷，查看有無槍替痕跡。檢查完畢，實無可疑，乃歎曰：「此小子將來當有出息！」
終於，在十九歲順天鄉試時，張一麐以十六名中舉，主考是同鄉潘祖蔭、翁同龢。
據說，慈禧不認識名單上的那個「麐」字，大臣奏稱，此與麒麟之「麟」同字。但是，這個被老佛爺垂詢的人中麒麟子，卻並沒有因此時來運轉，不僅複試完畢後連回保定的川資都沒有，飯錢還是向車夫借的，而且在接下來的連續三次科考中，都因為回避，而無法入場考試。真個是進身無門。
原來，張一麐的姐夫夏孫桐，清末民初著名的詞人、學者，也是科考的考官之一，按照清代的考試制度，例當回避。但連續三次回避，這對張一麐來講實在是件很悲催的事情，讓他一度幾乎絕望。
一生中錯過了兩個文襄公
科舉不第，父親去世，生活艱窘，張一麐經父親故舊汲引，各處坐館，謀取稻粱。先在盤門汪氏（即青浦知縣汪南陔）家坐館，並挈弟張一鵬伴讀，一邊教課生徒，一邊賣文為生。又館于鳳凰街陸氏，這是唐相陸贄後裔，著名望族。後來又到懸橋巷洪氏家坐館，教導洪鈞侍郎的孫子。
在鳳凰街陸氏家坐館時，還發生一件趣事。一個學生的叔叔陸晉笙（字錦燧），鄉試時將張一麐在書院考試時的兩篇文章夾帶進考場，號舍又與一麐弟弟一鵬的號舍相近，於是兩人各用一篇，榜發時竟然兩人皆中舉。張一麐感慨自己平生從未做過槍手，但是這場外之文卻在場中入轂，鄉里之人因此盛傳張一人考了「三個半舉人」，這「半個」當然是指十六歲中副榜事。張批評此乃科舉時代腐敗之掌故，但言語間亦不無自得。這個陸錦燧，後來成為蘇州、上海一帶的名醫。
光緒癸卯（一九○三年），是張一麐時來運轉的一年。這年，在科考第三次回避後，他抱著背水一戰的心理入京應「經濟特科」廷試。
張一麐的北上之旅，一路艱難，所謂「揭債入都，姑妄一試」。當時天津三等火車是無棚的，他「一肩行李，火繖（烈日）張天」。火車駛近永定門時，一場瓢潑大雨淋漓而至，張一麐全身透濕。嗣後，他又腹瀉不止。姐夫夏閏枝請來王聘三診治方痊癒。
「經濟特科」，是仿照歷史上「博學宏詞」科體式而舉行的朝廷最高級別人才的選拔考試，由三品以上京官及各省督撫學政舉薦，再由總理各國事務衙門會同吏部奏請考試。張一麐參加的這次，是在保和殿舉行的。特科兩場考試，均由張之洞擔任總校。張之洞本想錄取百名特科生，結果內廷擔心革命黨人混入京僚，嚴令錄取人數不得超過三十人，所錄之人也一律發往外省。張一麐本錄為第一，拆封時卻因「學歷」太低，小小舉人本無功名，配不上煌煌大典之特科，於是改錄第十名的新科庶起士袁某為第一。
在按慣例接見各門生時，張之洞特別問張一麐：「你願從餘往湖北乎？」張一麐鬼使神差地回答道：「書生不諳吏事，湖北人才所萃，從師學習案牘（公文）固所願也」。
張一麐出來跟老鄉鄧孝先談及此事，鄧孝先給他講了一件事，說香帥門生中有個四川人夏某，入幕十餘年，最後以咯血而終。鄧的意思是，能讓手下嘔心瀝血為之盡職的領導，是人生可遇不可求的，所以責備他：「子精神不能隨老師，余為君不取」。
張一麐有些後悔，但話已然說出口，不能出爾反爾。
算來，張這輩子錯過了兩個文襄公。第一個是左文襄公左宗棠。十六歲鄉試那年，為左宗棠品題，友人就勸他到金陵見左公，但張以「稚嫩畏見生客」而作罷。不久，左公因法越戰事離開江南他往，機會永失。張到晚年時追念哲人，自傷老大，用李白的一句詩來表達自己的心情：「但願一識韓荊州」。而這句詩的上一句是：「生不用封萬戶侯。」
二十年後，他又錯過了一個文襄公，張文襄公張之洞。張一麐當時回復香帥所說的「不諳吏事」，顯然是藉口；「人才所萃」，倒是實情；而「從師學習案牘」，那簡直就是編謊了。揣測當時情形，張一麐可能最擔心的還是自己年已老大（三十六歲），怕一入張幕，光芒為群英所掩。張有詩曰：「何日囊錐欣脫穎，伊誰宦海悟迷津」。
可見，他骨子裡自視英才，雖然不見得渴慕「萬戶封侯」，但「一鶴飛沖天」在他心裡大概不過是時日早晚而已。
於是，張以知縣發往直隸補用。直隸總督袁世凱一見即令入幕，不三日而委劄下。又恰好分管學務的人南歸，張旋即繼任。
這大概就是冥冥之中上帝所安排的一場因緣際會吧，從此以後，張一麐的人生就糾葛在袁世凱的世界裡。
初入袁幕 因「呆」得老袁青眼
張一麐剛入袁幕時，袁幕的學務總辦是人品、學術備受推崇，人稱「經師兼人師，二百年無此文宗」的嚴修。張一麐應該感謝這個頂頭上司，正是他奏請光緒帝開設「經濟特科」考試，以此改革科舉制度，為國家選拔有實際才幹的人才，這樣也才有了張一麐的囊錐脫穎。嚴修後來離開袁世凱後，就專心辦學，是南開大學的締造者之一。
作為新進幕僚，張一麐牢記「少說話，多幹事」的古訓，惴惴於公事。除了處理日常公牘外，業餘時間只是買書自學，以彌補學力的不足。無錢買書，這似乎是張一麐年輕時心頭的長痛：他十六歲鄉試時，把「離經辨志」的「志」，作「史志」理解，在是否錄取為第六名時，正副主考意見不合，於是調取《通志堂經解•皇清經解》，令十八房師遍審全書，也沒找到這種解釋的先例，於是只好抑為副榜第二名，也就是中了「半個舉人」。
後來張一麐到江陰拜見學政黃體芳，黃就教導他要多讀書，張以「寒士無力買書為苦」回稟。黃告訴他，南菁書院成立在即，到時可入書院來讀書，但張一麐後來因為陪侍父親北上候補，還是失去了入書院讀書的機會。黃體芳身不滿四尺，而鬚眉甚偉，是當時有名的「四矮子」之一（張之洞也是其中之一），他創建了江南人才淵藪之地—江陰南菁書院。
入幕一年，張一麐有四端謹慎拘守：一不私謁府主；二不汲汲求進官階；三不求加薪一文；四不推諉工作。這種「新員工」的姿態，放到現在也屬於低調之列，更何況張是通過朝廷「經濟特科」考試選拔出來的高級人才？所以對張一麐的這種作派，當時就有人背後議論。有心機的說張是「呆子」，有人則贊張是「清正」。張一麐則一如既往，我行我素。漸漸的，在天津學界慢慢贏得了清譽。不久，老袁即命張兼辦奏牘，這是從週邊進入內層圈子。不久，老袁一併把員警、地方自治、交涉、法律等等辦差全交給張處理，張一麐步入了核心層。
張一麐突然「走運」的因由，首要還是老張對業務的熟稔，因為老派的幕友對新政諸事不熟悉不能辦，張就有機會脫穎而出。其次是張寫文章倚馬可待，有枚乘之才。比如，有天深夜，袁指名要某個幕客做事，可索之不得，只有老張深更半夜仍然端坐在自己辦公室，於是順手把張召來辦事，稍作交談，就讓張起草文件。
老張就坐在老袁對面，一個口授，一個奮筆疾書，十幾篇文稿轉眼寫就。從那以後，老張就常常參與機密檔的起草。這就再次印證了那句很俗的話：「機會總是為有準備的人而準備的。」
還有一點，那就是老張一如既往地勤勉不怠：「每一問題必研究三五日，博諮而後下筆。」這就是「呆子」的執拗。袁世凱是武人出身，做事精明幹練，據說他曾經講過這樣的話：「甯用不通之學生，不用虛名之文士」。
張一麐出色的辦事能力，以及做事務實幹練的作風，讓老袁很是賞識。袁世凱是個城府極深的人，心思又密，所以他欣賞張一麐的單純坦直。
辛亥革命期間，張一麐成功遊說江蘇巡撫程德全投向革命陣營，對革命走向產生重要影響。袁世凱掌任內閣總理大臣後，張一麐與革命陣營聯絡，成功促成清帝退位。民國初年，張一麐擔任總統府機要秘書、政事堂機要局局長和教育總長等要職。然而，他淡泊名利，從不為個人私事請托辦事。張一麐性格忠誠耿直，不隨波逐流，甘於做袁世凱的諍臣，以報答知遇之恩。所以，有人說張一麐對老袁的真心誠意，甚至超過了袁克定。
但張一麐歸根到底是個「文士」，而且書生氣十足。他的身上雖然沒有酸腐之氣，但固執起來也讓人頭疼。袁世凱稱帝時，自始至終反對最強烈的，就數他。可老袁不知出於什麼心理，稱帝時又極想讓老張來寫昭告天下的詔書，老張的「呆子」氣頓時發作：「我歷來對橫行霸道者恨之入骨。袁詭譎竊政，我決不屈從。若要殺我，我是因不做幫兇而死的，有何懼哉」！
更狗血的是，老袁最後宣佈取消帝制，想要發一個官方的撤銷帝制電令，竟又想起了早回老家的老秘書張一麐。
從交友的角度來講，「道義相砥，過失相規，畏友也；緩急可共，生死可托，密友也。」（東晉蘇浚《雞鳴偶記》）再霸道、再能幹的一個人，一輩子也想有一兩個口對心、心對口的朋友。
張一麐評價袁世凱：「不用私人，不有私財，非當世貴人所能望其項背。」袁世凱在臨死前對張一麐說：「你對得起我，我對不起你。」
抗日救國 組織「老子軍」
離開袁世凱後,他一直閒居蘇州.不再過問政治，其間曾同張謇組織蘇社，同李根源組織吳縣善人橋農村改進社，同吳蔭培等人創辦吳中保墓會，並且參與《吳縣誌》總纂。
張一麐具有強烈的愛國情懷。1931年九·一八事變後，面對日寇侵略，他曾多次公開發表主張，創辦了《鬥報週刊》，號召中國人救亡圖存。1932年一·二八事變爆發後，張一麐支援抗戰。1936年七君子事件發生後，張一麐參與營救七君子。1937年，淞滬抗戰期間，張一麐動員江蘇民眾撫傷員，救難民，先後設立醫院24所，救治傷病五六萬人，收容難民十余萬人，其愛國言行為時論所推重。淞滬會戰後，張一麐曾和李根源收殮抗日英烈的遺骸於蘇州善人橋。
抗戰初期，張一麐最為外界矚目的事情是與國民黨元老李根源倡議組織“老子軍”。“老子軍”的名稱取自北宋時期蘇州名人范仲淹的“小范老子”之稱謂。范曾任陜西經略安撫副使，兼知延州，主持對西夏防務，因其善於治軍，西夏人償稱，“小范老子腹中有數萬甲兵，不比大范老子可欺也”(注：老子為西夏人對知州之尊稱，大范指范仲淹前任范雍)。張一麐借“老子軍”稱謂以抒發傚法先賢之志，並曾賦詩云：
昨夜風狂雨洗兵，天空軋軋有機聲；笑言爾輩毋驚恐，老子軍如小范營。
鄉賢小範本能軍，老子成群創異聞；贏得元戎高論在，先驅何以謝諸君。
縱然祈死亦能軍，千叟同袍古未聞。欲使懦夫生壯志，轉煩當局賫鴻文。
張一麐說：青年前程遠大，為日方長，若過多犧牲，未免可惜。老年人年事已足，價值日減，視死如歸，是其天職。他親撰《老子軍規則》，闡述老子軍建軍宗旨，稱：老子軍以敢死為目的，但凡青年不必犧牲者，俱由老年人代替赴死。參加人員為年滿60歲以上的男性，未滿60歲者為預備軍。吸食鴉片、身體殘疾、貪生怕死以及有確切證據證明與日本人妥協者，不得加入。老子軍設軍統一人，擬由98歲高齡的著名教育家馬相伯出任，而為抗戰捐款百萬元的李根源擔任軍需長。老子軍擔負的任務主要包括：燃點雷電之發動機關，與敵人拼命而不得生還者；破壞敵人之重工業、軍械，須與之俱斃而不得生還者；凡一切不用膂力而決死者，等等。其所受獎賞為精神上的名譽獎勵。
張一麐擬組建老子軍的新聞一經報導，舉國感奮。蔣介石獲悉此事，曾專門致電張一麐，予以勸止，電文稱：
台端建議創設老子軍，壯氣磅薄，足以振厲國人，至增欽慰。惟抗戰之際，所望于各地父老者，厥在督率後進，慎固守禦，提挈民眾，協助軍事。國家縱極艱危，不應責耆老以效死於前線。況軍事組織，貴在嚴整，軍事名稱，未可輕用。務請中止此議，別謀所以靖獻之道。自登高之呼，儒夫志立，國家固已受賜不淺矣。仄區之意，務祈諒察。
接蔣介石電文後，張一麐寫了一份措辭嚴謹的回電，抒發其組織老子軍之本旨，意在“愧愛錢惜死之徒，知取義成仁之美”，稱：
某犬馬之年，行將就木。溯自前清甲午、庚子以至最近東四省之役，凡今七八十之老人，即當時二三十之健者。乃虛糜歲月，坐視艱危，看壯士之犧牲，聽敵人之宰割，種種罪惡，皆在臨財茍得，臨難茍免，處己於安，而遺人以危。亡國為奴，恬不知恥。是以忽生奇想，以了殘生。耶教有救世軍之名稱，學界有童子軍之組織，妄相比附，冀效馳驅。昔越勾踐使罪人三行，屬劍自剄，以致吳師駭怪，大敗闔廬。他若魂候贏之於信陵君，燕田光之於太子丹，皆垂暮捐軀，以報知己。某雖不武，竊慕此風，將以愧愛錢惜死之徒，知取義成仁之美而已。公明察秋毫，示之軌范，自應別謀靖獻，協助守禦，以固後方。湘鄉曾氏雲，勇士赴敵，視死如歸，斯則常勝之理，萬方不變。我之科學既不如人，惟有以肉彈相搏，如墻而進，天而不亡中國乎。各方父老，願扶杖以觀公德化之成也。臨電感悚，昧死以聞，張一麐叩。
老子軍雖未果行，但卻一時傳為美談。張一麐老當益壯、赤心謀國的愛國精神，對於振勵士氣，鼓舞民心，影響巨大。
當蘇州還未陷落時，郭沫若曾拜訪張一麐。二人談及抗戰前途，均認為中國確有最後勝利的把握。臨了，張一麐說：有些貪生怕死的人，家鄉被人佔去了，都想逃亡，我最反對逃亡的！要是將來蘇州給敵人佔去了，我決與蘇州共存亡！
1937年11月19日，蘇州淪陷，日軍在城內大肆燒殺劫掠。張一麐兌現諾言，仍留蘇州，參與抗日遊擊隊的鬥爭活動。日軍令其出任偽維持會主席，遭到嚴詞拒絕。之後，他割須剃髮，更換僧服，改號大圜，隱居於蘇州穹窿山。外間謠傳其投井自盡，一時海內震驚。郭沫若信以為真，還曾撰寫過悼文。
當時，張一麐的親人都在上海，幾次設法勸他到滬，躲避戰事，都未成事。最後誑騙其同赴廣福的抗日遊擊隊據點，張一麐才上汽車，輾轉到達上海租界。1938年5月，張一麐抵達香港，不久赴重慶參加國民參政會。他不改初志，堅決主張抵抗日本的侵略活動。抵渝次日，有記者採訪詢問：重慶空氣如何？張氏答非所問，不假思索道：除打外，還有路走否？記者復問：然則老子軍亦將出馬乎？張氏正色曰：義不容辭！舉座為之肅然。
1943年10月，張一麐於重慶病逝。
