ر نظرهای امام را نداشت؛ یكبار به امام گفت: تو نزد من بهتر از مروان بن حكم نیستی!.[18] عباس از عثمان خواست تا هوای امام را داشته باشد. عثمان گفت: اولین حرف من با تو این است كه اگر علی خودش بخواهد، كسی نزد من عزیزتر از او نخواهد بود.[19] البته امام حاضر نبود به خاطر عثمان و رفاقت با وی از بیان انحرافات و ایراد انتقاد چشم پوشی كند. به همین دلیل روابط امام با عثمان، از جهتی نزدیك‌تر و از جهت دیگر تندتر شد.[20] یك بار كه زنی از انصار با یكی از زنان بنی‌هاشم نزاعی داشت، پس از آنكه به نفع زن انصاری حكم شد، عثمان به او گفت: این رأی پسر عمومیت علی است![21] مخالفت با حكومت برای امام كار دشواری بود. امام، به ویژه در سال‌های نخست كوشید تا با پناه بردن به انزوا خود را از رو در رو شدن با حكومت باز دارد. سرنوشت سعد بن عباده تجربه‌ی تلخی و در عین حال عبرت‌آمیز بود. سعد با ابوبكر بیعت نكرد و ناگهان در زمان خلافت خلیفه‌ی اول یا دوم، خبر رسید كه جِنّیان در شام او را كشتند. برخی از مصادر اشاره دارند كه قتل او سیاسی بوده است.[22] 
ابن ابی الحدید می‌گوید: من از استادم ابو جعفر نقیب[23] پرسیدم: شگفتی من از علی ـ علیه السّلام ـ است كه چگونه در این مدت طولانی بعد از وفات رسول خدا ـ صلّی الله علیه و آله و سلّم ـ زنده ماند و با وجود آن همه كینه‌های قریش، جان سالم بدر برد. ابو جعفر به من گفت: اگر او خود را تا به آن اندازه كوچك نكرده و به كنج انزوا نخزیده بود، كشته شده بود. اما او خود را از یادها برد و به عبادت و نماز و قرآن مشغول كرد، و از آن زیّ و روش نخست خود خارج شده و شمشیر را به فراموشی سپرد، گویی چون ناجوانمردی كه توبه كرده، به سیر در زمین پرداخته و یا راهب در كوه‌ها است. و از آن جا كه به اطاعت حاكمان زمان پرداخت، و خود را در برابر آنان كوچك كرد، او را رها كردند؛ اگر چنین نكرده بود او را به قتل رسانده بودند. او سپس به اقدام خالد برای قتل امام اشاره می‌كند.[24] مؤمن الطاق نیز بر این باور بود كه عدم تلاش سیاسی از طرف امام در این دوره، ترس از آن بوده است كه مبادا جنیان او را (همانند سعد) بكشند.[25] 
البته این بدان معنا نبود كه امام از فرصت‌های مناسب برای حق از دست رفته‌ی خود تلاش نكند. آن حضرت در همان مرحله‌ی نخست برای چند ماه از بیعت خودداری كرد.[26] به علاوه در همان روزهای نخست، دست زن و فرزندان خود را گرفت و به خانه‌های انصار رفت تا حق از دست رفته را باز یابد. این اصرار در حدی بود كه او را متهم كردند كه حریص بر خلافت است. امام فرمود: یكی گفت: پسر ابوطالب! تو بر این كار بسیار آزمندی! گفتم: نه، به خدا سوگند شما آزمندترید. ـ به رسول خدا ـ دورتر و من بدان نزدیك‌ترم (خاص‌ترم). من حقی كه از آنم بود خواستم، و شما نمی‌گذارید، و مرا از رسیدن به آن باز می‌دارید.[27] امام نظیر این استدلال را فراوان داشتند: «یا معشر قریش! إنا أهل البیت أحقّ بهذا الأمر منكم، أما كان فینا من یقرء القرآن و یعرف السنَّه و یدین بدین الحقّ»؟[28] ای قریشیان! ما از شما نسبت به خلافت سزاوارتریم. آیا در میان ما نیست كسی كه قرآن می‌خواند، سنت را می‌شناسد و به دین خداوند باور دارد؟ 
درباره‌ی ارزیابی امام از خلافت سه خلیفه، باید گفت: امام در هیچ زمانی آزاد نبود تا ارزیابی خود را از شیخین به دست بدهد. بر عكس نسبت به عثمان، هر آنچه كه به آن اعتقاد داشت، فرصت بازگو كردن آن را داشت. دلیل این امر این بود كه سپاه او در كوفه، كسانی بودند كه جز عده‌ی محدودی، شیخین را پذیرفته بودند و امام نمی‌توانست در جمع آنان در سخن گفتن درباره‌ی آنان آزاد باشد. یك بار كه فرصتی به دست آمد، به بیان بخشی از رنج‌های خود پرداخت و بالافاصله از ادامه‌ی سخن باز ماند و در برابر اصرار ابن عباس به ادامه‌ی صحبت فرمود: «تلك شقشقهٌ هَدَرَت»، نه ابن عباس! آنچه شنیدی شعله‌ی غم بود كه سر كشید.[29] 
با همه‌ی احتیاطی كه امام داشت، در زمان شورای خلافت، حاضر به پذیرفتن شرط عبدالرحمان بن عوف برای قبول خلافت نشد. ابن عوف شرط كرد: اگر امام بپذیرد تا افزون بر عمل كتاب خدا و سیره‌ی رسول ـ صلّی الله علیه و آله و سلّم ـ به سیره‌ی شیخین (ابوبكر و عمر) عمل كند، حاضر است خلافت را به او واگذار كند، اما امام فرمود: تنها به اجتهاد خود عمل خواهد كرد. این رد آشكاری از امام نسبت به روش و سیره‌ی شیخین (ابوبكر و عمر) بود كه به اعتقاد امام دست كم بخش‌هایی از آن بر خلاف سیره‌ی رسول خدا ـ صلّی الله علیه و آله و سلّم ـ و بر پایه‌ی اجتهادی نادرست صورت گرفته بود. امام اطاعت خود را نیز از ابوبكر، در اموری عنوان كرد كه او از خدا اطاعت می‌كرده است.[30] سخنان امام در دوره‌ی خلافت، و نیز روش برخورد امام با مسائل مختلف نشان می‌دهد كه امام شیوه‌ی سه خلیفه‌ی گذشته را تائید نمی‌كرده است و بعدها معاویه در نامه‌ای به امام نوشت كه تو بر خلفای پیشین حسد برده بر آنان بغی كردی! امام در پاسخ او نوشتند: «و پنداشتی كه من بدِ همه‌ی خلفا را خواستم و به كین آنان برخاستم. اگر چنین است ـ و سخنت راست است ـ تو را چه جای بازخواست است؟ جنایتی بر تو نیاید تا از تو پوزش خواستند... و گفتی مرا چون شتری بینی مهار كرده می‌راندند تا بیعت كنم. به خدا كه خواستی نكوهش كنی، ستودی، و رسوا سازی، خود را رسوا نمودی. مسلمان را چه نقصان كه مظلوم باشد و در دین خود بی‌گمان؛ یقینش استوار و از دو دلی به كنار؟... و از این كه بر عثمان به خاطر برخی بدعت‌ها خرده می‌گرفتم، پوزش نمی‌خواهم.»[31] 
با وجود انتقادات صریح امام، به ویژه برخورد امام در شورا، نمی‌توان به داشتن برخی پیوند سببی میان امام و عمر برای اعتقاد امام به درستی حكومت آنان استناد كرد. حتی تمجیدهایی كه امام از برخی از خلفا در قیاس با برخی دیگر دارد دلیلی بر پذیرش سیره‌ی آنان از سوی امام نیست. زمانی كه امام دریافت توانایی درافتادن با این حزب را ندارد، و نیز به مصلحت اسلام نیست تا مبارزه‌ای را آغاز كند، راه مصالحه در پیش گرفت. امام در چندین مورد بیعت خود با ابوبكر و پذیرفتن او را كه به اصطلاح، مهاجر و انصار نیز او را پذیرفته بودند، بر اساس ضرورت و حفظ وحدت میان مسلمانان توجیه می‌كرد.[32] امام در توجیه سكوت خود به این سخن هارون در برابر موسی ـ علیه السّلام ـ استناد كرد كه گفت: إنّی خشیت أن تقول فَرّقتَ بین بنی اسرائیل.[33] امام نسبت به سقیفه می‌فرمود: بل عرفت أنَّ حقی هو المأخوذ و قد تركته لهم، تجاوز الله عنهم.[34] در گذشته، اهل سنت همین را نیز كه اهل‌بیت خود را سزاوارتر از دیگران، یعنی خلفای نخست به خلافت می‌دانستند، نمی‌پذیرفتند، اما اكنون جناح‌های نسبتاً روشن اهل‌سنت قبول دارند كه علی ـ علیه السّلام ـ صرفاً به خاطر وحدت با ابوبكر بیعت كرد، در حالی كه خود را احق به خلافت می‌دانست.[35] 
به هر روی زندگی منزویانه‌ی امام در آن جامعه، نشان از آن دارد كه هم امام و هم خلفا می‌دانستند كه نمی‌